Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мяу по-русски Мяу по-русски

Налаживая связь с человеком, кошки изменили тональность мяуканья

Популярная механика
Чем полезна куриная печень для организма: 6 свойств Чем полезна куриная печень для организма: 6 свойств

Куриную печень готовят и едят гораздо реже самой курятины, но это зря

РБК
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Как формируется мнение человека о самом себе. Отрывок из книги психиатра Как формируется мнение человека о самом себе. Отрывок из книги психиатра

Отрывок из книги психиатра и нейробиолога Грегори Бернса «Иллюзия себя»

СНОБ
Повышаем обороты Повышаем обороты

Как разогнать метаболизм без спортзала и диет?

Лиза
Женские секреты. Неудобные вопросы гинекологу, которые многие стесняются задать Женские секреты. Неудобные вопросы гинекологу, которые многие стесняются задать

Самые распространенные деликатные проблемы, которые волнуют женщин

Лиза
Главные гангстеры Екатеринбурга: история группировки «Уралмаш» Главные гангстеры Екатеринбурга: история группировки «Уралмаш»

«Уралмаш» — самая мощная банда, орудовавшая в столице Урала, Екатеринбурге

ТехИнсайдер
5 способов «застраховаться» от развода 5 способов «застраховаться» от развода

Что необходимо делать супругам, чтобы гарантированно укрепить свой брак?

Psychologies
5 типов алкоголиков: к какому можно отнести вас? 5 типов алкоголиков: к какому можно отнести вас?

Наркологи распределили выпивающих людей на несколько групп

Psychologies
Зловещие пятна на теле планеты Зловещие пятна на теле планеты

16 июля 1945 года человечество, само еще не подозревая, вступило в атомную эру

Наука и Техника
Парень молодой: лучшие фильмы про холостяков Парень молодой: лучшие фильмы про холостяков

Лучшие фильмы о тех, кто выбрал свободу от отношений

Правила жизни
3 скрытые причины, почему партнера раздражают ваши слезы 3 скрытые причины, почему партнера раздражают ваши слезы

Вы плачете и ищете у него утешения, а он только злится?

Psychologies
Фавориты ювелирного мира Фавориты ювелирного мира

Гранат – история драгоценного камня

Зеркало Мира
4 признака, что отправляться в совместное путешествие с человеком не стоит 4 признака, что отправляться в совместное путешествие с человеком не стоит

Иногда стили отдыха даже самых близких людей не совпадают, и это нормально

Psychologies
История Набатеи: расцвет и упадок История Набатеи: расцвет и упадок

Мало кто знает историю древнего народа Набатеи

Зеркало Мира
Фонотека Фонотека

Как изобразительное искусство и арт-колледжи повлияли на развитие поп-музыки

Правила жизни
С видом на будущее С видом на будущее

Загородный дом с футуристичным фасадом эклектичным интерьером

SALON-Interior
Неистовая Фанни. Драма террористки, покусившейся на вождя Неистовая Фанни. Драма террористки, покусившейся на вождя

О том, как любовная драма превратила наивную девушку Фанни Каплан в террористку

СНОБ
Семейный подряд: как Коэны, Вачовски и другие братья и сестры вместе снимают кино Семейный подряд: как Коэны, Вачовски и другие братья и сестры вместе снимают кино

Восемь творческих команд, которые вместе создают кино

Forbes
Глава холдинга АО «Росхим»: «Стране нужна сильная химическая промышленность» Глава холдинга АО «Росхим»: «Стране нужна сильная химическая промышленность»

Российская промышленность стремится освоить новые импортозамещающие механизмы

ФедералПресс
Вместо тревожных новостей — балет: почему в СССР в трудные времена показывали «Лебединое озеро» Вместо тревожных новостей — балет: почему в СССР в трудные времена показывали «Лебединое озеро»

Почему «Лебединое озеро» стало предвестником серьезных политических событий?

ТехИнсайдер
«Быт разрушает наши отношения»: что делать в таком случае — 9 советов психолога «Быт разрушает наши отношения»: что делать в таком случае — 9 советов психолога

Быт в отношениях — страшный зверь, которого можно приручить

Psychologies
Гендиректор РЭО: «Необходимо создать современную инфраструктуру по утилизации отходов» Гендиректор РЭО: «Необходимо создать современную инфраструктуру по утилизации отходов»

В России с нуля создается отрасль обращения с твердыми коммунальными отходами

ФедералПресс
Бег по лавандовому полю за €2 млн: зачем в Париже сделали красивой легкую атлетику Бег по лавандовому полю за €2 млн: зачем в Париже сделали красивой легкую атлетику

Почему французы на Олимпиаде отошли от традиционного кирпично-красного цвета?

Forbes
Царство покоя Царство покоя

7 интерьерных секретов, которые помогут быстрее засыпать

Лиза
Мещанское счастье певца революции. Как Маяковский предал себя Мещанское счастье певца революции. Как Маяковский предал себя

Вставные зубы в мещанском аду: как Маяковский уничтожил в себе поэта

СНОБ
Какое вино пить летом: 10 идеальных вариантов Какое вино пить летом: 10 идеальных вариантов

Какими винами можно наслаждаться еще весь август?

Maxim
Крушение «Осоавиахима» Крушение «Осоавиахима»

В 1933 году граждане СССР праздновали триумф науки и техники — полёт стратостата

Дилетант
От Билибина до «Кандинского»: заменит ли нейросеть художников-иллюстраторов От Билибина до «Кандинского»: заменит ли нейросеть художников-иллюстраторов

Что такое вирусная обложка и стоит ли отдавать работу художника нейросети?

СНОБ
Редкое животное и первые кадры! Фермер из Боливии сумел заснять амазонскую ласку: видео Редкое животное и первые кадры! Фермер из Боливии сумел заснять амазонскую ласку: видео

Об удивительном существе из густых лесов Амазонки известно не так много

ТехИнсайдер
Открыть в приложении