Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ощущение вкуса Ощущение вкуса

На что мы смотрим, когда выбираем блюдо или напиток?

Bones
Галопом по Востоку Галопом по Востоку

Помимо острова Беринга, в восточной части России есть масса удивительных мест

2Xplore
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Почему нельзя выливать маринад от овощей Почему нельзя выливать маринад от овощей

Что бы ты ни делала, не выливай маринад от овощей в канализацию!

VOICE
Худеем по науке Худеем по науке

Какие гормоны отвечают за вес и как похудеть в случае гормонального дисбаланса

Лиза
Переплыть Амазонку и Ла-Манш: самые экстремальные заплывы в истории Переплыть Амазонку и Ла-Манш: самые экстремальные заплывы в истории

О пяти самых экстремальных заплывах в истории человечества

ТехИнсайдер
Как и чем убрать царапины на машине своими руками Как и чем убрать царапины на машине своими руками

Какие виды царапин бывают на автомобиле и как их убрать

РБК
Наш человек! Наш человек!

11 звезд Голливуда с русскими корнями

Лиза
Зажечь по-семейному: 3 основные причины снижения либидо в браке и рекомендации от сексологов Зажечь по-семейному: 3 основные причины снижения либидо в браке и рекомендации от сексологов

Как вернуть влечение, распознать за угасающей искрой яркое пламя страсти?

Psychologies
Вернуть в семью: как развод Бакальчук показал отношение общества к выбору женщины Вернуть в семью: как развод Бакальчук показал отношение общества к выбору женщины

Почему взрослую женщину просят вернуть мужу, как расценивать такие призывы?

Forbes
У кого больше шансов на успешные знакомства и отношения — у собачников или кошатников? У кого больше шансов на успешные знакомства и отношения — у собачников или кошатников?

Кто больше помогает при знакомстве и отношениях — собака или кошка?

Maxim
365 дней свеклы 365 дней свеклы

Мы с командой часто смеемся, называя сибирских поваров «амбассадорами свеклы»

Bones
5 ошибок, которые мешают вам копить деньги 5 ошибок, которые мешают вам копить деньги

Почему у вас не получается накопить сумму на мечту?

Psychologies
Зайдя в эту комнату, через 15 минут вы сойдете с ума. Рассказываем про самую тихую комнату в мире Зайдя в эту комнату, через 15 минут вы сойдете с ума. Рассказываем про самую тихую комнату в мире

В чем секрет самого тихого помещения в мире?

ТехИнсайдер
Женский взгляд: 10 красных флагов в дейтинг-приложениях Женский взгляд: 10 красных флагов в дейтинг-приложениях

Десять стоп-сигналов, которые говорят женщинам: «Не стоит ему отвечать»

Psychologies
Женщина из Китая хотела собаку, — а вырастила медведя! Смешная история Женщина из Китая хотела собаку, — а вырастила медведя! Смешная история

Тибетские мастифы — это одна из старейших пород в мире, похожая на медведей

ТехИнсайдер
На пути к миллиарду: Telegram исполняется 11 лет На пути к миллиарду: Telegram исполняется 11 лет

IT-аналитик Федор Скуратов — об эре Telegram

СНОБ
Проблемы военной безопасности и стабильности в регионе Ближнего и Среднего Востока Проблемы военной безопасности и стабильности в регионе Ближнего и Среднего Востока

Ближний и Средний Восток по ряду причин изобилуют нюансами политики

Обозрение армии и флота
Из бани в Лувр. Почему «Джоконда» стала главной картиной всех времен и народов Из бани в Лувр. Почему «Джоконда» стала главной картиной всех времен и народов

«Мона Лиза», или «Джоконда», — кто она?

СНОБ
Бескрайнее лето Бескрайнее лето

Как с помощью парфюма продлить летнее настроение

Лиза
Царь-заговор Царь-заговор

«Джон Ф. Кеннеди. Выстрелы в Далласе»: покушение на президента изменило США

Дилетант
История одной вещи: консервная банка, запрошенная Наполеоном и воспетая Уорхолом История одной вещи: консервная банка, запрошенная Наполеоном и воспетая Уорхолом

Какую трансформацию консервная банка потерпела с конца XVIII века

Правила жизни
В зоне комфорта В зоне комфорта

Comfort food в России всегда была неразрывна с деревней

Bones
Флоресские «хоббиты» возникли не менее 700 тысяч лет назад Флоресские «хоббиты» возникли не менее 700 тысяч лет назад

Рост флоресских хоббитов был гораздо меньше, чем у более поздних потомков

N+1
Что язык тела говорит о ваших отношениях — и какие невербальные сигналы могут их улучшить Что язык тела говорит о ваших отношениях — и какие невербальные сигналы могут их улучшить

Почему язык тела не менее важен, чем умение говорить друг с другом?

Psychologies
Урал, любовь моя Урал, любовь моя

5 абсолютно разных граней Большой уральской тропы

2Xplore
Король ток-шоу: кто такой Фил Донахью? Король ток-шоу: кто такой Фил Донахью?

Чем Фил Донахью заслужил уважение и доверие телезрителей?

Правила жизни
Что читают в книжном клубе Сары Джессики Паркер Что читают в книжном клубе Сары Джессики Паркер

Топ-7 книг из списка актрисы Сары Джессики Паркер

СНОБ
Держали в секрете 20 лет! Американцы нашли руины корабля пиратов с Варварийского берега Держали в секрете 20 лет! Американцы нашли руины корабля пиратов с Варварийского берега

Обнаруженный затонувший пиратский корабль — первый в своем роде

ТехИнсайдер
Укрепление Сибири или совпадение: как объяснить масштабные кадровые перестановки Укрепление Сибири или совпадение: как объяснить масштабные кадровые перестановки

За неполные два года в трети сибирских регионов сменились руководители

ФедералПресс
Открыть в приложении