Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Правда или миф: действительно ли панама была придумана в Панаме? Правда или миф: действительно ли панама была придумана в Панаме?

Кто придумал панаму и почему она так называется?

ТехИнсайдер
Все фильмы Гаспара Ноэ — от лучшего к худшему Все фильмы Гаспара Ноэ — от лучшего к худшему

9 фильмов загадочного французского режиссера, которые шокируют всех зрителей

Maxim
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Сила слабого света Сила слабого света

Чему могут научить «Люди в темные времена» Ханны Арендт

Weekend
Многоразовый космический корабль Многоразовый космический корабль

Как космический корабль «Буран» опередил свое время

Наука и техника
Убтан для вашей крaсoты Убтан для вашей крaсoты

Секрет красоты и молодости нам раскрывает природа, и один из них — убтан

КАНТРИ Русская азбука
Как две ученые нашли месторождение алмазов, но их открытие присвоили себе другие люди Как две ученые нашли месторождение алмазов, но их открытие присвоили себе другие люди

Пример того, как тяжелый труд ученых был вознагражден подлостью

Forbes
Спорт — наш: как сериал Евгения Стычкина «Игры» рассказывает об Олимпиаде-80 Спорт — наш: как сериал Евгения Стычкина «Игры» рассказывает об Олимпиаде-80

Сериал «Игры»: амбивалентная история об Олимпиаде-80

Forbes
Американский психолог создал настольную игру «Публикуйся или умри» Американский психолог создал настольную игру «Публикуйся или умри»

Как настольная игра может помочь аспирантам справиться с выгоранием

N+1
Молнии над водой Молнии над водой

Как выглядят гонки Formula E1 на электрических лодках с подводным крылом?

ТехИнсайдер
Расплескалась седина Расплескалась седина

Началась новая волна массового обесцвечивания кораллов в Мировом океане

2Xplore
«Должны жить по нашим законам»: как изменится миграционная политика в РФ «Должны жить по нашим законам»: как изменится миграционная политика в РФ

Адаптация мигрантов к российским реалиям остается одним из ключевых вызовов

ФедералПресс
Быстро и без печальных последствий: как погладить рубашку, чтобы выглядеть как с иголочки Быстро и без печальных последствий: как погладить рубашку, чтобы выглядеть как с иголочки

Как перестать тратить часы и научиться гладить рубашки всего за пять минут

ТехИнсайдер
Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!» Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!»

Театр — это живой организм: как ты к нему относишься, так он и отвечает

Коллекция. Караван историй
Дом из дерева Дом из дерева

Деревянный дом — это целый мир со своими правилами, устоями и обычаями

КАНТРИ Русская азбука
Антисоветчики, которых не преследовали, но осуждали: как жили советские стиляги Антисоветчики, которых не преследовали, но осуждали: как жили советские стиляги

Кто такие советские стиляги и как была устроена их жизнь?

ТехИнсайдер
Бесчеловечный флот Америки Бесчеловечный флот Америки

Основные программы в области создания надводных роботизированных систем ВМС США

Обозрение армии и флота
Руководитель Форума креативного бизнеса Елена Маринина: Резко вырос спрос на специалистов в креативной сфере Руководитель Форума креативного бизнеса Елена Маринина: Резко вырос спрос на специалистов в креативной сфере

Почему игрокам креативных индустрий важно объединяться, а не конкурировать

СНОБ
Лоскутное одеяло: в стиле пэтчворк Лоскутное одеяло: в стиле пэтчворк

Как создать лоскутные украшения дома из обрезки старых тканей?

КАНТРИ Русская азбука
Жизнь на Земле была сложной уже 2 миллиарда лет назад Жизнь на Земле была сложной уже 2 миллиарда лет назад

Сложные организмы появились не позднее 2,1 миллиарда лет назад

ТехИнсайдер
От Билибина до «Кандинского»: заменит ли нейросеть художников-иллюстраторов От Билибина до «Кандинского»: заменит ли нейросеть художников-иллюстраторов

Что такое вирусная обложка и стоит ли отдавать работу художника нейросети?

СНОБ
Аллергия на дождь! Узнайте факты о необычной болезни: аквагенная крапивница Аллергия на дождь! Узнайте факты о необычной болезни: аквагенная крапивница

Аквагенная крапивница: что это за заболевание и как она влияет на жизнь человека

ТехИнсайдер
Заполнить униформу Заполнить униформу

Как армейские куртки стали инструментом борьбы с системой

Правила жизни
Крутится, вертится шар… Крутится, вертится шар…

Шаровая молния – загадочное природное явление, не имеющее научного объяснения

Зеркало Мира
10 вредных советов, которые помогут не дожить до старости 10 вредных советов, которые помогут не дожить до старости

Халатное отношение к собственному здоровью способно сильно укоротить вашу жизнь

Psychologies
«Каиссе» 50: история советской компьютерной программы, победившей в чемпионате мира по шахматам «Каиссе» 50: история советской компьютерной программы, победившей в чемпионате мира по шахматам

Почему среди игр для «тренировки» искусственного интеллекта были выбраны шахматы

ТехИнсайдер
Людмила Вебер: Нажимается кнопочка «выкл» — и ты оказываешься в полной темноте, в которой надо как-то учиться жить Людмила Вебер: Нажимается кнопочка «выкл» — и ты оказываешься в полной темноте, в которой надо как-то учиться жить

Художница Людмила Вебер — о том, что она пережила по ту сторону решетки

СНОБ
От полосатой робы до красных галифе: изломы судьбы Мишки Япончика От полосатой робы до красных галифе: изломы судьбы Мишки Япончика

Как главарь одесских уголовников Мишка Япончик оказался в Красной армии?

Правила жизни
Почему принято пить коровье молоко? Вот что нужно знать о любимом напитке! Почему принято пить коровье молоко? Вот что нужно знать о любимом напитке!

Почему люди выбрали именно коровье молоко около 9000 лет назад?

ТехИнсайдер
Три митрополита Три митрополита

Роль церкви в период правления Ивана Калиты

Дилетант
Открыть в приложении