Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ученые выяснили, почему зумеры стареют раньше положенного срока Ученые выяснили, почему зумеры стареют раньше положенного срока

Почему зумеры выглядят гораздо старше своих лет?

Psychologies
Сад против времени. В поисках рая для всех Сад против времени. В поисках рая для всех

Глава из сборника Оливии Лэнг «Сад против времени. В поисках рая для всех»

Правила жизни
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
«Каиссе» 50: история советской компьютерной программы, победившей в чемпионате мира по шахматам «Каиссе» 50: история советской компьютерной программы, победившей в чемпионате мира по шахматам

Почему среди игр для «тренировки» искусственного интеллекта были выбраны шахматы

ТехИнсайдер
Термоэрозия мерзлоты помешает Северному ледовитому океану поглощать углекислый газ Термоэрозия мерзлоты помешает Северному ледовитому океану поглощать углекислый газ

Как таяние многолетней мерзлоты мешает поглощению углекислого газа

N+1
6 книг о сексе в современном мире 6 книг о сексе в современном мире

Книги, которые помогут взглянуть на сексуальность с разных точек зрения

Psychologies
«Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов «Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов

История спортсменки, которая прошла через нищету, насилие и проблемы с психикой

Forbes
Что такое станция техобслуживания автомобилей, и какие работы проводят Что такое станция техобслуживания автомобилей, и какие работы проводят

Все о станциях техобслуживания: виды, какие работы проводят

РБК
Выходные на озере. ТОП-10 водоемов для летнего отдыха на берегу Выходные на озере. ТОП-10 водоемов для летнего отдыха на берегу

Если тебе претят морские пляжи, озера – лучшая альтернатива из имеющихся

2Xplore
Как не выгореть на работе: 3 полезных правила Как не выгореть на работе: 3 полезных правила

Как перестать работать на износ?

Psychologies
Окно в Арктику Окно в Арктику

5 причин отправиться уже сейчас в теплые объятия Русского Севера

Лиза
Вы невнимательны, и это совершенно нормально. Почему? Вы невнимательны, и это совершенно нормально. Почему?

С возрастом мы теряем способность к концентрации внимания. В чем же причина?

Psychologies
Почему лениться полезно Почему лениться полезно

5 неожиданных фактов о лени от врача

Лиза
«Докторская» колбаса и зеленка: вещи, придуманные в СССР, которыми мы пользуемся до сих пор «Докторская» колбаса и зеленка: вещи, придуманные в СССР, которыми мы пользуемся до сих пор

Наработки из СССР, над которыми время оказалось не властно

ТехИнсайдер
Борьба за ярлык Борьба за ярлык

Как Калита начал собирать русские земли вокруг Москвы?

Дилетант
Пастила: съешь меня Пастила: съешь меня

Как возрождали производство знаменитой коломенской пастилы

КАНТРИ Русская азбука
Однажды в Белом море Однажды в Белом море

Соловки – фантастической красоты природа и наблюдение за белухами

2Xplore
Почему мы не умеем просить и как этому научиться: 4 стратегии Почему мы не умеем просить и как этому научиться: 4 стратегии

Как проявляется нежелание просить о помощи и как его преодолеть

Psychologies
«Наша награда очень справедлива» «Наша награда очень справедлива»

NILETTO, Олег Майами и Лёша Свик — о совместной работе в «ЕКБойз»

ЖАРА Magazine
В кадре В кадре

Это интервью мы записывали с актрисой Анастасией Красовской в Нижнем Новгороде

OK!
«Участие бизнеса необходимо  на каждом этапе формирования  кадрового резерва» «Участие бизнеса необходимо  на каждом этапе формирования  кадрового резерва»

О роли бизнеса в создании кадрового потенциала для развития нефтегазовой отрасли

РБК
Ощущение вкуса Ощущение вкуса

На что мы смотрим, когда выбираем блюдо или напиток?

Bones
Пора лезть на стену Пора лезть на стену

Паркур от первого лица

Men Today
Гендиректор ТМК ЭТЕРНО Денис Макиенко: «Мы строим новую компанию» Гендиректор ТМК ЭТЕРНО Денис Макиенко: «Мы строим новую компанию»

О том, почему ТМК ЭТЕРНО решила перестроить отлаженный бизнес

ФедералПресс
«Картинки с выставки: наука и технологии в раннем СССР» «Картинки с выставки: наука и технологии в раннем СССР»

Как создавалась экспозиция Отдела прикладной ботаники

N+1
7 суровых автодомов, сделанных российскими умельцами 7 суровых автодомов, сделанных российскими умельцами

Российские автодома с суровым вайбом

Maxim
Крутится, вертится шар… Крутится, вертится шар…

Шаровая молния – загадочное природное явление, не имеющее научного объяснения

Зеркало Мира
Айсен Николаев о векторе развития республики Саха: «Экономический рост должен улучшать жизнь людей» Айсен Николаев о векторе развития республики Саха: «Экономический рост должен улучшать жизнь людей»

Якутия поражает темпами социального и экономического развития

ФедералПресс
Безмолвные слезы вещей: роман о расследовании судеб погибших в концлагерях Безмолвные слезы вещей: роман о расследовании судеб погибших в концлагерях

Отрывок из романа Гаэль Ноан «Бюро расследования судеб»

Forbes
Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!» Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!»

Театр — это живой организм: как ты к нему относишься, так он и отвечает

Коллекция. Караван историй
Открыть в приложении