Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ли Кайфу: «Люди оказались на земле не для рутинной работы» Ли Кайфу: «Люди оказались на земле не для рутинной работы»

Как искусственный интеллект повлияет на нашу жизнь в ближайшем будущем

РБК
Сшить себе свободу: как швейная машина помогала женщинам бороться за свои права Сшить себе свободу: как швейная машина помогала женщинам бороться за свои права

Как в истории швейной машины отражается история женской эмансипации

Forbes
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Да, анальный секс без проникновения существует — и вот как им заняться! Да, анальный секс без проникновения существует — и вот как им заняться!

Как насчет того, чтобы поэкспериментировать с концепцией анального секса?

VOICE
Финтех, крипта, долларизация: как Латинская Америка справляется с валютным хаосом Финтех, крипта, долларизация: как Латинская Америка справляется с валютным хаосом

В Латинской Америке появилась россыпь стартапов-«единорогов» в финтех-сфере

Forbes
Новые школьные проекты: фармакология и терапия дислексии Новые школьные проекты: фармакология и терапия дислексии

Работы школьников, обратившие на себя внимание авторитетных специалистов

Наука и техника
Дети и новый муж Дети и новый муж

Cоветы по сближению детей с новым партнером и основные промахи

Лиза
«Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма «Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма

Что мешает вам получать удовольствие от близости с любимым человеком?

Psychologies
Как проверить видеокарту на работоспособность: несколько надежных способов Как проверить видеокарту на работоспособность: несколько надежных способов

Какой программой проверить работоспособность видеокарты?

CHIP
От полосатой робы до красных галифе: изломы судьбы Мишки Япончика От полосатой робы до красных галифе: изломы судьбы Мишки Япончика

Как главарь одесских уголовников Мишка Япончик оказался в Красной армии?

Правила жизни
«Месье поправляет пенсне» «Месье поправляет пенсне»

История очков, настоящий исторический детектив

Зеркало Мира
Легендарная вещь времен СССР: почему у граненого стакана было именно 16 граней Легендарная вещь времен СССР: почему у граненого стакана было именно 16 граней

Как и когда в СССР появился граненый стакан

ТехИнсайдер
В Кении нашли древнейшего австралопитека В Кении нашли древнейшего австралопитека

Как был обнаружен древнейший представитель рода австралопитеков

N+1
Первый премьер императорской России Первый премьер императорской России

Деяния Витте: сталь Транссиба и сохранение русского Дальнего Востока

Знание – сила
Итальянский бродяга и французская гордость: герои Парижа, которых обсуждал весь мир Итальянский бродяга и французская гордость: герои Парижа, которых обсуждал весь мир

В Париже-2024 есть спортсмены, которых награждают совсем не медалями

Forbes
Плати и учись Плати и учись

Что нужно знать, подписывая договор о платном образовании

Лиза
Уголок школьника Уголок школьника

5 вещей и предметов мебели, которые нужно выбросить из детской комнаты

Лиза
3 частые ситуации, в которых мы раним близких, сами того не желая 3 частые ситуации, в которых мы раним близких, сами того не желая

Будьте осторожны: подобное поведение действительно может убить отношения!

Psychologies
Продолжать поток Продолжать поток

О личном, прекрасном и важном — в интервью Александры Урсуляк

OK!
«Все есть копия» «Все есть копия»

Как китайцы начинают работать над новым дизайном этого мира

Правила жизни
Точно в срок: 7 советов любителям опозданий Точно в срок: 7 советов любителям опозданий

Вы изо всех сил стараетесь приходить вовремя, но постоянно опаздываете?

Psychologies
«Каиссе» 50: история советской компьютерной программы, победившей в чемпионате мира по шахматам «Каиссе» 50: история советской компьютерной программы, победившей в чемпионате мира по шахматам

Почему среди игр для «тренировки» искусственного интеллекта были выбраны шахматы

ТехИнсайдер
Умножение делением Умножение делением

Безусловный базовый доход: почему он не станет билетом в безбедную жизнь

РБК
Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй! Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй!

Правда ли, что некоторые культуры жестикулируют больше, чем другие?

ТехИнсайдер
Стационарная вселенная и холодный ядерный синтез: известные научные теории, которые в результате оказались ошибочными Стационарная вселенная и холодный ядерный синтез: известные научные теории, которые в результате оказались ошибочными

Иногда научные теории могут основываться на достаточно сомнительных фактах

ТехИнсайдер
Секс, стена и Достоевский Секс, стена и Достоевский

Что может сделать русская литература со стремительно взрослеющей девушкой

Weekend
Она — легенда: как Сьюзен Войджицки стала ролевой моделью для многих женщин в бизнесе Она — легенда: как Сьюзен Войджицки стала ролевой моделью для многих женщин в бизнесе

Почему Войджицки была не просто легендой в технологической индустрии

Forbes
Почему нельзя выливать маринад от овощей Почему нельзя выливать маринад от овощей

Что бы ты ни делала, не выливай маринад от овощей в канализацию!

VOICE
«Гуслица»: творческая усадьба на территории мануфактуры «Гуслица»: творческая усадьба на территории мануфактуры

Вдали мегаполиса энтузиасты развивают на историческом месте новую арт-резиденцию

Psychologies
Не до шуток: почему умирает жанр ситкомов и какой будет комедия положений будущего Не до шуток: почему умирает жанр ситкомов и какой будет комедия положений будущего

Почему зрители больше не хотят смотреть ситуационные комедии?

Forbes
Открыть в приложении