Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Семь навыков высокоэффективных людей Семь навыков высокоэффективных людей

Мощные инструменты развития личности

kiozk originals
Подо льдами Подо льдами

Плавание подводных лодок подо льдами теперь стало обыденным явлением

Наука и техника
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Восточная мудрость Восточная мудрость

Утонченный интерьер с ориентальными мотивами

SALON-Interior
Кого поставить в угол Кого поставить в угол

Взрослые глазами детей: у них тоже есть к нам обоснованные претензии!

Лиза
4 простых лайфхака, как вывести плесень с одежды 4 простых лайфхака, как вывести плесень с одежды

Как убрать плесень на одежде — ловите целых четыре способа

ТехИнсайдер
Точка опоры Точка опоры

Мифов о позвоночнике сложено немало, разбираем самые живучие из них

Лиза
Ивановичи Ивановичи

Обоим сыновьям Ивана Калиты совсем не повезло с местом в истории

Дилетант
Жилища обтекаемой формы: зачем в СССР строили дома в виде бочек Жилища обтекаемой формы: зачем в СССР строили дома в виде бочек

Дома-бочки в СССР: для кого строили эти дома и почему они были такой формы?

ТехИнсайдер
Сила слабого света Сила слабого света

Чему могут научить «Люди в темные времена» Ханны Арендт

Weekend
Из гречки и кокоса! Узнайте о самых полезных для здоровья видах муки Из гречки и кокоса! Узнайте о самых полезных для здоровья видах муки

Стоит ли заменить цельнозерновую муку на гречневую или миндальную?

ТехИнсайдер
«Наша награда очень справедлива» «Наша награда очень справедлива»

NILETTO, Олег Майами и Лёша Свик — о совместной работе в «ЕКБойз»

ЖАРА Magazine
Предметный разговор Предметный разговор

Искусствовед Софья Симакова рассказывает о феномене коллекционного дизайна

Правила жизни
«Все побежали, и я побежал» «Все побежали, и я побежал»

Что такое конформность в психологии

Лиза
5 типов алкоголиков: к какому можно отнести вас 5 типов алкоголиков: к какому можно отнести вас

Наркологи выделили 5 типов выпивающих людей.

Maxim
«Я встретила любовь, когда шла покупать швабру»: 14 историй о любви «Я встретила любовь, когда шла покупать швабру»: 14 историй о любви

Истории людей, которые романтично встретили по-настоящему близкого человека

Psychologies
«Главный вызов — создание нового уровня жизни» «Главный вызов — создание нового уровня жизни»

Алексей Чекунков о том, как решается кадровый дефицит на Востоке

РБК
Антиперфекционизм: чего не понимают отличники и что плохого в стремлении к идеалу Антиперфекционизм: чего не понимают отличники и что плохого в стремлении к идеалу

В чем минусы перфекционизма? Как перестать беспокоиться о неважном?

Forbes
Касторовое масло топит жир или нет: популярный тренд в TikTok Касторовое масло топит жир или нет: популярный тренд в TikTok

Следуя трендам: поможет ли касторовое масло избавиться от жира на животе?

ТехИнсайдер
«Книги, кофе и другие измерения»: уникальный магазин в Верхней Пышме «Книги, кофе и другие измерения»: уникальный магазин в Верхней Пышме

Книжный магазин, аналогов которому в Свердловской области нет

Psychologies
Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов

Душистая мята с давних времен имеет широкое практическое применение

ТехИнсайдер
10 вредных советов, которые помогут не дожить до старости 10 вредных советов, которые помогут не дожить до старости

Халатное отношение к собственному здоровью способно сильно укоротить вашу жизнь

Psychologies
Олимпиада и секс: зачем делают картонные кровати и правда ли спортсмены устраивают оргии Олимпиада и секс: зачем делают картонные кровати и правда ли спортсмены устраивают оргии

Вы могли не знать, но секс и Олимпийские игры обитают в одной системе координат

Maxim
10 способов ментальной самообороны 10 способов ментальной самообороны

Хотите инструкцию, какие конкретно принять меры против манипуляций?

Psychologies
Природа Черногории и гастрономия Адриатики: что делать в Будве и окрестностях Природа Черногории и гастрономия Адриатики: что делать в Будве и окрестностях

Чем заняться в Будве и окрестностях во время путешествия

Forbes
Мозг и жизнь Мозг и жизнь

Наталья Петровна Бехтерева: открытия главного и загадочного нейрофизиолога

Собака.ru
Почему принято пить коровье молоко? Вот что нужно знать о любимом напитке! Почему принято пить коровье молоко? Вот что нужно знать о любимом напитке!

Почему люди выбрали именно коровье молоко около 9000 лет назад?

ТехИнсайдер
Записки отельера: жизнь взаймы Записки отельера: жизнь взаймы

Короткое, но важное соприкосновение отельера с искусственным интеллектом

Правила жизни
«Кукушка»: боди-хоррор о репродуктивном насилии на альпийском курорте «Кукушка»: боди-хоррор о репродуктивном насилии на альпийском курорте

Как действительно жуткий фильм осмысляет проблему репродуктивного насилия

Forbes
Кружево: сплетено на коклюшках Кружево: сплетено на коклюшках

Как рождается кружево на вологодский манер

КАНТРИ Русская азбука
Открыть в приложении