Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Дефицитная любовь: что это такое Дефицитная любовь: что это такое

Почему даже в благополучных с виду семьях мы часто живем такими несчастными?

Psychologies
Главные гангстеры Екатеринбурга: история группировки «Уралмаш» Главные гангстеры Екатеринбурга: история группировки «Уралмаш»

«Уралмаш» — самая мощная банда, орудовавшая в столице Урала, Екатеринбурге

ТехИнсайдер
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Зажечь по-семейному: 3 основные причины снижения либидо в браке и рекомендации от сексологов Зажечь по-семейному: 3 основные причины снижения либидо в браке и рекомендации от сексологов

Как вернуть влечение, распознать за угасающей искрой яркое пламя страсти?

Psychologies
Солнце мое: как правильно пользоваться санскрином на море и в городе? Солнце мое: как правильно пользоваться санскрином на море и в городе?

Какие важные факты об SPF важно держать в голове?

Правила жизни
Фьюзинг: дедовский метод Фьюзинг: дедовский метод

Процесс создания красоты, «фьюзинг», — давняя и довольно традиционная технология

КАНТРИ Русская азбука
Почему собаки и кошки дергаются во сне Почему собаки и кошки дергаются во сне

Разгадываем сонные тайны наших питомцев

Maxim
Тренеры по красивой жизни Тренеры по красивой жизни

Как не прогадать с покупкой у инфоцыган курсов-пустышек

РБК
Зачем роутеру столько антенн и что они дают Зачем роутеру столько антенн и что они дают

Почему роутеры оснащаются таким количеством антенн и на что они влияют

CHIP
8 фраз, которые вредно говорить детям 8 фраз, которые вредно говорить детям

Фразы, которые не оказывают воспитательного эффекта и портят отношения с детьми

Psychologies
Пропало либидо: план действий от психолога и сексолога Пропало либидо: план действий от психолога и сексолога

Что делать, если ты вдруг поняла: интима совсем не хочется и либидо на нуле?

VOICE
Алексей Горенский: «Наши выпускники — настоящие таланты» Алексей Горенский: «Наши выпускники — настоящие таланты»

О том, как сейчас создается будущее индустрии гостеприимства

Bones
«Джеймс Уэбб» рассмотрел параллельные джеты у двойной протозвезды в кратной системе «Джеймс Уэбб» рассмотрел параллельные джеты у двойной протозвезды в кратной системе

Одна из протозвезд в системе WL20 на самом деле является парой протозвезд

N+1
Как себе помочь, если нет денег на психолога? Как себе помочь, если нет денег на психолога?

Как помочь себе самостоятельно, развивая осознанность?

VOICE
5 ошибок, которые мешают вам копить деньги 5 ошибок, которые мешают вам копить деньги

Почему у вас не получается накопить сумму на мечту?

Psychologies
Машины из параллельного импорта подорожали: когда и как можно сэкономить Машины из параллельного импорта подорожали: когда и как можно сэкономить

Что привело к падению объемов параллельного импорта автомобилей

РБК
Как позвонить на Алису: подробная инструкция Как позвонить на Алису: подробная инструкция

Сейчас мы расскажем, как позвонить домой на Алису с телефона

CHIP
Ксения Лучанинова: «На Дальнем Востоке частная медицина конкурирует с государственной за кадры» Ксения Лучанинова: «На Дальнем Востоке частная медицина конкурирует с государственной за кадры»

Дальний Восток — регион, в который устремлены все планы государства

ФедералПресс
Как научить себя высыпаться. Советы сомнолога Как научить себя высыпаться. Советы сомнолога

Врач-сомнолог делится практическими советами по улучшению сна

СНОБ
Хайям Аминов: «Наша задача — изучить всю Енисейскую Сибирь» Хайям Аминов: «Наша задача — изучить всю Енисейскую Сибирь»

Хайям Аминов о карьере, бизнесе, сибирских продуктах и душе

Bones
Энтузиазм и отвага Энтузиазм и отвага

Секрет петербургского ресторанного феномена — это энтузиазм его создателей

Монокль
Избавиться от травмы: как, зачем и что будет после? Избавиться от травмы: как, зачем и что будет после?

Что делать, чтобы преодолеть травму и начать двигаться вперед?

Psychologies
Михаил Владимиров: «Михаил Державин стал мне вторым отцом» Михаил Владимиров: «Михаил Державин стал мне вторым отцом»

Мои герои в кино не всегда положительные, но зато открытые и веселые люди

Коллекция. Караван историй
Ёлки зелёные Ёлки зелёные

Украшения к Новому году из еловых веток

КАНТРИ Русская азбука
Периодический закон работает в масштабах Вселенной Периодический закон работает в масштабах Вселенной

Зачем астрохимия моделирует процессы, протекающие в межзвёздном пространстве?

Наука и жизнь
Юридические тексты сравнили с магическими заклинаниями Юридические тексты сравнили с магическими заклинаниями

Зачем авторы официальных текстов используют такие сложные конструкции?

N+1
5 типов алкоголиков: к какому можно отнести вас? 5 типов алкоголиков: к какому можно отнести вас?

Наркологи распределили выпивающих людей на несколько групп

Psychologies
«Наша служба и опасна, и трудна»: самые рискованные профессии в мире «Наша служба и опасна, и трудна»: самые рискованные профессии в мире

Самые опасных специальностях в мире, которые требуют силы духа и устойчивости

ТехИнсайдер
Версия для печати: скоро ли 3D-принтеры соберут человека по частям Версия для печати: скоро ли 3D-принтеры соберут человека по частям

Первые пациенты с 3D-имплантатами уже живут среди нас

Forbes
Магия волос Магия волос

Традиции, ритуалы и суеверия, связанные с волосами

Лиза
Открыть в приложении