Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

По расчетам астрономов, Вселенная погибнет через 20 миллиардов лет По расчетам астрономов, Вселенная погибнет через 20 миллиардов лет

Что предсказывает модель Вселенной, которая учитывает данные DES и DESI?

ТехИнсайдер
5 признаков, что ваш брак под угрозой 5 признаков, что ваш брак под угрозой

Как понять, какие перспективы у вашего союза?

Psychologies
ИИ-система создает модели для сборки из кирпичиков Лего ИИ-система создает модели для сборки из кирпичиков Лего

Как создали AI-систему, которая может по промпту собирать физические объекты

ТехИнсайдер
Аллергия на дождь! Узнайте факты о необычной болезни: аквагенная крапивница Аллергия на дождь! Узнайте факты о необычной болезни: аквагенная крапивница

Аквагенная крапивница: что это за заболевание и как она влияет на жизнь человека

ТехИнсайдер
Эта привычка может повысить риск развития деменции на 43% Эта привычка может повысить риск развития деменции на 43%

Употребление большого количества сахара может повысить риск развития деменции

ТехИнсайдер
Меледá, или девять связанных колец Меледá, или девять связанных колец

Эта головоломка с кольцами, надетыми на шпильку, известна во многих странах

Наука и жизнь
Глава минпромторга Красноярского края: «Инвестиции растут на 25% в год» Глава минпромторга Красноярского края: «Инвестиции растут на 25% в год»

Красноярский край реализует инвестпроекты на триллионы рублей

ФедералПресс
Почему для женщин наличие секса важнее, чем для мужчин: необычное исследование ученых Почему для женщин наличие секса важнее, чем для мужчин: необычное исследование ученых

Как секс влияет на здоровье женщин?

Psychologies
Деликатесы со всего мира Деликатесы со всего мира

Необычные деликатесы, которые вы есть не стали бы

Зеркало Мира
Периодический закон работает в масштабах Вселенной Периодический закон работает в масштабах Вселенной

Зачем астрохимия моделирует процессы, протекающие в межзвёздном пространстве?

Наука и жизнь
6 заблуждений из детства, которые мешают нам жить 6 заблуждений из детства, которые мешают нам жить

Почему так трудно забыть негативные уроки детства

Psychologies
Трон во крови: истории таинственных исчезновений наследников престола Трон во крови: истории таинственных исчезновений наследников престола

Борьба за власть — вечный сюжет из школьных учебников истории

ТехИнсайдер
«Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании» «Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании»

О том, как с непростой ситуацией кадрового голода справляется холдинг «Швабе»

ФедералПресс
Заменит ли нейросеть живого архитектора? Заменит ли нейросеть живого архитектора?

Архитекторы пытаются уловить контуры и сущность городов будущего

Монокль
Стоматолог Блюмкин рассказал, какие гаджеты для зубов нужно приобрести каждому Стоматолог Блюмкин рассказал, какие гаджеты для зубов нужно приобрести каждому

Актуальные гаджеты для гигиены полости рта — советует стоматолог

ТехИнсайдер
Правда или миф, что собачья слюна залечивает раны? Рассказываем, что думают ученые по этому поводу Правда или миф, что собачья слюна залечивает раны? Рассказываем, что думают ученые по этому поводу

Неужели собачья слюна обладает целебными свойствами?

ТехИнсайдер
Евгений Добаев: «Наш искусственный интеллект будет сильнее хакерского» Евгений Добаев: «Наш искусственный интеллект будет сильнее хакерского»

Уровень киберзащищенности организаций растет, но не так быстро, как хотелось бы

РБК
Избавиться от травмы: как, зачем и что будет после? Избавиться от травмы: как, зачем и что будет после?

Что делать, чтобы преодолеть травму и начать двигаться вперед?

Psychologies
Фиаско Илона Маска Фиаско Илона Маска

Почему не сработала идея вакуумного транспорта – гиперлупа?

ТехИнсайдер
Заполнить униформу Заполнить униформу

Как армейские куртки стали инструментом борьбы с системой

Правила жизни
Что заставляет нас заводить отношения: 3 ложных мотива Что заставляет нас заводить отношения: 3 ложных мотива

Какие мотивы вступить в отношения можно назвать истинными, а какие ложными?

Psychologies
Проблемы военной безопасности и стабильности в регионе Ближнего и Среднего Востока Проблемы военной безопасности и стабильности в регионе Ближнего и Среднего Востока

Ближний и Средний Восток по ряду причин изобилуют нюансами политики

Обозрение армии и флота
Инвестиции в импортозамещение: их эффект для развития российской промышленности Инвестиции в импортозамещение: их эффект для развития российской промышленности

Какие инвестиции направляются на реализацию импортозамещающих производств сейчас

ФедералПресс
3 частые ситуации, в которых мы раним близких, сами того не желая 3 частые ситуации, в которых мы раним близких, сами того не желая

Будьте осторожны: подобное поведение действительно может убить отношения!

Psychologies
Фабрика-кухня: филиал Третьяковки в Самаре Фабрика-кухня: филиал Третьяковки в Самаре

Памятник советского конструктивизма обрел новую жизнь в виде филиала Третьяковки

Psychologies
Имплантация зубов Имплантация зубов

Что важно сделать до, во время и после процедуры имплантации зубов

Лиза
Екатерина Гусева: «Чем больше отдаю душевных сил, тем больше получаю солнечной энергии!» Екатерина Гусева: «Чем больше отдаю душевных сил, тем больше получаю солнечной энергии!»

Я чувствую, что наполнена зрительской благодарностью и любовью

Караван историй
Фридрих великий Фридрих великий

Как забытый немецкий романтик стал современным художником

Weekend
«Советские продавцы свободы»: как жили и работали фарцовщики в СССР «Советские продавцы свободы»: как жили и работали фарцовщики в СССР

Кем были первые советские миллионеры и как строился их бизнес.

ТехИнсайдер
5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги 5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги

Неочевидные моменты, которые следует учитывать, арендуя автомобиль

Maxim
Открыть в приложении