Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Инстаграмное место: как соцсети изменили представления об идеальном пространстве Инстаграмное место: как соцсети изменили представления об идеальном пространстве

Отрывок из книги «Формула грез» — почему минимализм превратился в эстетику

Forbes
«Карту замены ПО полезно выстраивать  как минимум на десять лет» «Карту замены ПО полезно выстраивать  как минимум на десять лет»

Александр Сафиулин о переходе российских компаний на новые цифровые решения

РБК
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
«Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого «Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого

Как Япония подходит к проблемному разговору о вине и ответственности за прошлое

Forbes
Задержите дыхание! Ученые рассказали, почему запах после дождя опасен для жизни Задержите дыхание! Ученые рассказали, почему запах после дождя опасен для жизни

Знали ли вы, что вздох в дождливую погоду может оказаться последним?

ТехИнсайдер
Кулинарные хитрости: как быстро снять кожицу с помидоров Кулинарные хитрости: как быстро снять кожицу с помидоров

Почистить помидоры можно без овощечистки и ножа

ТехИнсайдер
Почему мужчины не ходят к психологу — и почему им стоит это делать Почему мужчины не ходят к психологу — и почему им стоит это делать

Что мешает мужчинам ходить к психологу и как терапия может им помочь

Psychologies
Мария Орлова: «Чтение – это в первую очередь удовольствие» Мария Орлова: «Чтение – это в первую очередь удовольствие»

Как привить ребенку любовь к чтению – не обязательно расти на классике

Grazia
6 ловушек, которые мешают нам проживать свою жизнь счастливо 6 ловушек, которые мешают нам проживать свою жизнь счастливо

Почему мы позволяем стереотипам мешать нам жить?

Psychologies
Куда уходит сказка, или Санта Клаус раздора Куда уходит сказка, или Санта Клаус раздора

Западный мир сходит сума, а Санта Клаус отправляется на «свалку истории»

Зеркало Мира
Грифонаж, страпонтен, глабелла, нёрдл: необычные названия привычных вещей Грифонаж, страпонтен, глабелла, нёрдл: необычные названия привычных вещей

Грифонаж, страпонтен, петрикор: вы точно знаете эти вещи

ТехИнсайдер
9 фраз, которые лучше никогда не произносить вслух 9 фраз, которые лучше никогда не произносить вслух

Чего не стоит говорить людям, чтобы не сделать им хуже?

Psychologies
Злата и Мирослава Злата и Мирослава

Непо-бейби и топ-блогеры Мирослава и Злата Быковы стремительно делают карьеру

Собака.ru
Как две ученые нашли месторождение алмазов, но их открытие присвоили себе другие люди Как две ученые нашли месторождение алмазов, но их открытие присвоили себе другие люди

Пример того, как тяжелый труд ученых был вознагражден подлостью

Forbes
Однажды в Белом море Однажды в Белом море

Соловки – фантастической красоты природа и наблюдение за белухами

2Xplore
«От города ГУЛАГа к моногороду. Принудительный труд и его наследие в Воркуте» «От города ГУЛАГа к моногороду. Принудительный труд и его наследие в Воркуте»

С какими трудностями сталкивались новоприбывшие работники

N+1
«Никто не идеален»: 5 шагов, чтобы избавиться от недостатков «Никто не идеален»: 5 шагов, чтобы избавиться от недостатков

Признание своих недостатков — первый шаг к изменениям

Psychologies
Двигатель Renault К4М: описание и характеристики Двигатель Renault К4М: описание и характеристики

Все о двигателе K4M: надежность, особенности, характеристики

РБК
От модели до CEO: как Брук Шилдс основала собственный бьюти-бренд для зрелых женщин От модели до CEO: как Брук Шилдс основала собственный бьюти-бренд для зрелых женщин

Брук Шилдс о том, как она решилась начать новую карьеру — в бизнесе

Forbes
Как позвонить на Алису: подробная инструкция Как позвонить на Алису: подробная инструкция

Сейчас мы расскажем, как позвонить домой на Алису с телефона

CHIP
Что такое цифровой суверенитет и как его достичь: цели до 2030 года Что такое цифровой суверенитет и как его достичь: цели до 2030 года

Каких показателей цифрового суверенитета хотят добиться к 2030 году

ФедералПресс
Фавориты ювелирного мира Фавориты ювелирного мира

Гранат – история драгоценного камня

Зеркало Мира
Ледники в Андах достигли минимума за 130 000 лет Ледники в Андах достигли минимума за 130 000 лет

Ледники в Андах сократились до самых маленьких размеров за последние 130 000 лет

ТехИнсайдер
Финслерова геометрия как теория четырехмерности мира Финслерова геометрия как теория четырехмерности мира

О геометрии Вселенной, сверхсветовых скоростях и египетских пирамидах

Зеркало Мира
Минивэны Renault: история и все поколения с фото Минивэны Renault: история и все поколения с фото

Минивэны марки Renault — разбираемся в серии

РБК
Отчимы и мачехи: как воспитывать «чужих» детей Отчимы и мачехи: как воспитывать «чужих» детей

Как принять и полюбить детей партнера из прошлых отношений?

Psychologies
«А это мысль!» «А это мысль!»

Что такое инсайт и как его получить

Лиза
По следам мореплавателя По следам мореплавателя

Остров Беринга не оставляет привычных критериев для оценки действительности

2Xplore
«Стихи Живаго и есть то, что нужно было сказать» «Стихи Живаго и есть то, что нужно было сказать»

Константин Поливанов о том, зачем Пастернаку понадобился доктор Живаго

Weekend
Из бани в Лувр. Почему «Джоконда» стала главной картиной всех времен и народов Из бани в Лувр. Почему «Джоконда» стала главной картиной всех времен и народов

«Мона Лиза», или «Джоконда», — кто она?

СНОБ
Открыть в приложении