Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как правильно ездить на электросамокате в 2024 году: номера, карточки и новые штрафы Как правильно ездить на электросамокате в 2024 году: номера, карточки и новые штрафы

Электросамокаты, гироскутеры, моноколеса и иже с ними впервые добавили в ПДД

Maxim
Что такое станция техобслуживания автомобилей, и какие работы проводят Что такое станция техобслуживания автомобилей, и какие работы проводят

Все о станциях техобслуживания: виды, какие работы проводят

РБК
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Фонотека Фонотека

Как изобразительное искусство и арт-колледжи повлияли на развитие поп-музыки

Правила жизни
Точка опоры Точка опоры

Мифов о позвоночнике сложено немало, разбираем самые живучие из них

Лиза
Семейный совет Семейный совет

Что входит в чек-лист фертильности, высоки ли шансы преодолеть мужское бесплодие

Собака.ru
Мир готовят к новой пандемии Мир готовят к новой пандемии

ВОЗ обновила список патогенов, способных вызвать очередную эпидемию

Монокль
Обжиг: привет керамика! Обжиг: привет керамика!

Место, где не просто «горшки обжигают»

КАНТРИ Русская азбука
А как у них? А как у них?

9 самых странных школьных правил со всего мира

Лиза
Муж приковал ее на 40 дней к дереву! Как американка пережила домашнее насилие Муж приковал ее на 40 дней к дереву! Как американка пережила домашнее насилие

История женщины, которую бывший муж оставил в джунглях умирать

ТехИнсайдер
Ивановичи Ивановичи

Обоим сыновьям Ивана Калиты совсем не повезло с местом в истории

Дилетант
Аморфное вещество Аморфное вещество

История стекла гораздо древнее, чем нам кажется

Зеркало Мира
Сербская литиевая драма Сербская литиевая драма

Руководство Сербии дало добро на разработку крупного месторождения лития

Монокль
Глава минпромторга Красноярского края: «Инвестиции растут на 25% в год» Глава минпромторга Красноярского края: «Инвестиции растут на 25% в год»

Красноярский край реализует инвестпроекты на триллионы рублей

ФедералПресс
Гендиректор ТМК ЭТЕРНО Денис Макиенко: «Мы строим новую компанию» Гендиректор ТМК ЭТЕРНО Денис Макиенко: «Мы строим новую компанию»

О том, почему ТМК ЭТЕРНО решила перестроить отлаженный бизнес

ФедералПресс
Секс — мощное оружие маркетинга: жесткая диктатура длинных ног и коротких половых связей Секс — мощное оружие маркетинга: жесткая диктатура длинных ног и коротких половых связей

Почему быть сексуальным и иметь половую жизнь — это показатель престижа?

Psychologies
Математика в реальной жизни: как транспортные модели помогают избавляться от пробок и строить новые маршруты Математика в реальной жизни: как транспортные модели помогают избавляться от пробок и строить новые маршруты

О том, как создаются транспортные модели и как они работают

ТехИнсайдер
Хайям Аминов: «Наша задача — изучить всю Енисейскую Сибирь» Хайям Аминов: «Наша задача — изучить всю Енисейскую Сибирь»

Хайям Аминов о карьере, бизнесе, сибирских продуктах и душе

Bones
Светятся в темноте и разрушают сперматозоиды! Вот какие бывают презервативы: интересные факты Светятся в темноте и разрушают сперматозоиды! Вот какие бывают презервативы: интересные факты

Существует множество видов презерватива, у каждого типа есть свои плюсы и минусы

ТехИнсайдер
15 модных словечек и фраз, которые стоит позаимствовать из словаря зумеров 15 модных словечек и фраз, которые стоит позаимствовать из словаря зумеров

Разбираем зумерский сленг, чтобы найти с ними общий язык

Psychologies
Не те хромосомы, много тестостерона: почему на Олимпиадах так много гендерных скандалов Не те хромосомы, много тестостерона: почему на Олимпиадах так много гендерных скандалов

Кто такие интерсекс-люди и почему из-за них возникают скандалы на Олимпиаде?

Psychologies
У пиренейского кроманьонца выявили инвагинацию зуба У пиренейского кроманьонца выявили инвагинацию зуба

Ученые исследовали 17 зубов, которые археологи нашли в слоях верхнего палеолита

N+1
Самые интересные фэнтези-романы, основанные на мифах и легендах Самые интересные фэнтези-романы, основанные на мифах и легендах

Семь историй, вдохновением для которых послужили мифы и легенды разных народов

Maxim
Что такое цифровой суверенитет и как его достичь: цели до 2030 года Что такое цифровой суверенитет и как его достичь: цели до 2030 года

Каких показателей цифрового суверенитета хотят добиться к 2030 году

ФедералПресс
Как выбрать аккумуляторную цепную пилу для дачи: практичные советы Как выбрать аккумуляторную цепную пилу для дачи: практичные советы

Что учитывать, выбирая цепную пилу?

CHIP
Шитьё: нaряд вне очереди Шитьё: нaряд вне очереди

Вышивка — один из верных способов сделать внешний вид более ярким, праздничным

КАНТРИ Русская азбука
Мозг и жизнь Мозг и жизнь

Наталья Петровна Бехтерева: открытия главного и загадочного нейрофизиолога

Собака.ru
Разворот с Запада на Юго-Восток Разворот с Запада на Юго-Восток

О создании комплексной системы и развитии аграрной грузовой логистики

Агроинвестор
Безопасно ли есть горячую еду, которую привезли холодной? Объясняют эксперты Безопасно ли есть горячую еду, которую привезли холодной? Объясняют эксперты

Остывшие готовые блюда могут быть действительно опасны для здоровья

VOICE
Охотник за бактериями: как Роберт Кох обнаружил возбудителей сибирской язвы, туберкулеза и холеры Охотник за бактериями: как Роберт Кох обнаружил возбудителей сибирской язвы, туберкулеза и холеры

Роберт Кох первым обнаружил, что виной холере были маленькие бактерии...

ТехИнсайдер
Открыть в приложении