Почему нейросеть еще далека от настоящего искусственного интеллекта

TJHi-Tech

Нейросеть GPT-3 от OpenAI пишет стихи, музыку и код. Почему она пока далека от настоящего ИИ, но способна поменять мир

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.

Дамир Камалетдинов

1280

В мае 2020 года OpenAI представила третью версию языковой модели GPT, которая позволяет генерировать текст, который не всегда можно отличить от того, что написал бы человек. В июле доступ к нейросети начали выдавать отдельным желающим, которых одобрили в компании, а разработчики в соцсетях начали восторгаться возможностям системы.

TJ рассказывает, в чём отличия GPT-3, на что способна нейросеть и почему пока далека от настоящего ИИ, но уже может всерьёз изменить жизнь людей.

Что такое GPT-3 и чем она отличается от предшественников

На момент написания этого материала GPT-3 представляла собой самую сложную языковую модель. Среди других подобных алгоритмов её выделяет «натренированность»: система обучена на 1,5 триллионах слов, а её самая крупная версия занимает около 700 гигабайт.

GPT-3 генерирует текст на основе 175 миллиардов параметров — это значение отражает её вычислительную мощность. В зависимости от количества параметров система лучше или хуже оценивает данные и придаёт каким-то из них большее значение, а каким-то меньшее.

1280
Точность работы системы в зависимости от параметров и количества примеров контекста

Суть работы нового алгоритма по сравнению с прошлой версией не изменилась. Нейросеть анализирует огромные массивы данных из интернета и на их основе пытается предсказать текст слово за словом, но ей всё равно нужна точка отсчёта — какой-то запрос, с которым можно работать.

Причём, чем больше входных данных дать системе и чем больше у неё будет попыток, тем убедительнее может получиться текст. Например, если дать ей начало известной поэмы в стиле одного автора, она сможет продолжить её в стиле другого.

GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. Обе первые версии системы были адаптацией Transformer — алгоритма Google, который впервые применили в 2017 году. Его ключевой функцией было «внимание» — возможность вычислять вероятность появления того или иного слова среди других слов.

OpenAI развивала свои модели вокруг этой функции, постоянно наращивая количество параметров. В 2019 году GPT-2 уже работала с 1,5 миллиардами параметров и угодила в скандал. Тогда алгоритм научили генерировать фейковые новости и не стали сразу выпускать в открытый доступ, опасаясь вреда, который он может нанести.

В GPT-3 параметров стало в сто раз больше, а для обучения авторы использовали вдвое больше данных, чем в GPT-2. В OpenAI утверждают, что это позволило добиться «мета-обучения»: например, нейросети не нужно каждый раз переобучаться, чтобы закончить предложение — если дать ей пример, она продолжит завершать все незаконченные предложения.

GPT-3 нельзя свободно использовать: пока OpenAI даёт доступ только отдельным разработчикам и исследователям в рамках закрытого бета-теста — для этого нужно заполнить объёмную заявку и дождаться её рассмотрения. Но даже после окончания тестирования нейросеть не выпустят в открытый доступ — её планируют продавать для бизнеса по подписке.

Дизайн, музыка, истории — что уже может GPT-3

Хотя доступ к системе получили лишь немногие желающие, меньше чем за месяц алгоритм успели протестировать в самых разных сценариях: от написания песен, до создания кода и музыкальных аранжировок. По словам одного из испытавших систему разработчиков, в большинстве случаев система выдаёт убедительный результат если не с первой, то со второй или третьей попытки.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Однажды Дания поставила эксперимент над детьми из Гренландии, лишив их языка и семей. Спустя 70 лет пришлось извиняться Однажды Дания поставила эксперимент над детьми из Гренландии, лишив их языка и семей. Спустя 70 лет пришлось извиняться

Юных «островитян» забрали у родителей, отправив в приёмные семьи и детдом

TJ
«Четыре квадранта конформизма». Прочитайте новое эссе основателя Y Combinator Пола Грэма «Четыре квадранта конформизма». Прочитайте новое эссе основателя Y Combinator Пола Грэма

Пол Грэм о типах людей — от «агрессивных стукачей» до «послушных овец»

Inc.
Как защитить личные данные в интернете Как защитить личные данные в интернете

Как защитить личные данные, кто их ворует и какие есть способы защиты?

СНОБ
Оденься как звезда! Учимся совмещать стили у Беллы Хадид и Хейли Бибер Оденься как звезда! Учимся совмещать стили у Беллы Хадид и Хейли Бибер

Хочешь научиться миксовать стили как сёстры Хадид?

Cosmopolitan
6 причин, почему ты не можешь перестать есть, даже если сыт 6 причин, почему ты не можешь перестать есть, даже если сыт

Вредные привычки, мешающие перестать переедать

Playboy
Сама себе режиссер Сама себе режиссер

Актриса Ирина Горбачева рассказала о любви к абсурду и реакции на злые слова

Cosmopolitan
Возвращение русского плиозавра Возвращение русского плиозавра

Куда можно отправиться, чтобы прикоснуться к миру гигантских рептилий древности

Популярная механика
Жизнь в начале земного пути Жизнь в начале земного пути

Места нашей планеты, напоминающие о ее суровой юности

National Geographic
Нужен ли нам налог на пластик? Нужен ли нам налог на пластик?

Если ничего не предпринять, то миллиарды тонн мусора окажутся в окружающей среде

GQ
Превентивная защита от укуса: как обезопасить себя от клещей Превентивная защита от укуса: как обезопасить себя от клещей

Как свети вероятность укуса клеща к минимуму

Популярная механика
Растерянность и боль «воскресного папы» Растерянность и боль «воскресного папы»

К сожалению, никто не застрахован от развода или разрыва отношений. Что тогда?

Домашний Очаг
Во рту рыбы случайно нашли паразита, заменившего ей язык Во рту рыбы случайно нашли паразита, заменившего ей язык

Известное науке явление, которое очень редко удается наблюдать непосредственно

National Geographic
Робот-колоноскоп с камерой и щипцами прополз по свиному кишечнику Робот-колоноскоп с камерой и щипцами прополз по свиному кишечнику

Американские инженеры создали самоходного робота для эндоскопии

N+1
На дне морском На дне морском

Хвалынск — маленький город на великой реке

Огонёк
Размеры постельного белья: какие бывают и как выбрать? Размеры постельного белья: какие бывают и как выбрать?

Учёные подсчитали, что примерно треть жизни мы проводим во сне

Cosmopolitan
Будь как Атул. Знаменитый хирург — о том, как быть профи в любом деле Будь как Атул. Знаменитый хирург — о том, как быть профи в любом деле

Знаменитый хирург Атул Гаванде о правилах, которые работают не только в медицине

Reminder
Физики нашли способ сделать инфракрасное излучение видимым Физики нашли способ сделать инфракрасное излучение видимым

Прозрачная мембрана, делающую ИК-луч видимым для человеческого глаза

Популярная механика
Как отбелить зубы: лучшие профессиональные и домашние методы Как отбелить зубы: лучшие профессиональные и домашние методы

Как добиться белоснежной улыбки? Читайте в материале

Cosmopolitan
«Не следуйте глупым правилам»: Илон Маск назвал 7 главных способов повысить продуктивность «Не следуйте глупым правилам»: Илон Маск назвал 7 главных способов повысить продуктивность

Наконец-то мы дождались советов от старины Маска

Playboy
Вопросы пола Вопросы пола

Выбираем экологичное и безопасное напольное покрытие

Лиза
Правила жизни Барака Обамы Правила жизни Барака Обамы

Почему я не могу просто спокойно съесть свою вафлю?

Esquire
Кольцо с серебром Кольцо с серебром

Не все знают об уникальном туристическом маршруте вокруг Петербурга

Лиза
Собака Павлова: 8 мифов о первооткрывателе условного рефлекса Собака Павлова: 8 мифов о первооткрывателе условного рефлекса

«Вокруг света» разобрался, что есть миф об учёном, а что — чистая правда

Вокруг света
Госсектор закрепился в серой зоне Госсектор закрепился в серой зоне

Сколько в России компаний, подотчетных правительству? Не знает никто

РБК
Правила жизни Дэвида Финчера Правила жизни Дэвида Финчера

Правила жизни режиссера Дэвида Финчера

Esquire
Почему политикам выгодно занимать крайние позиции Почему политикам выгодно занимать крайние позиции

Сергей Карелов: раскол растет, но пока, по большому счету, ничего не происходит

Эксперт
Палеонтологи обнаружили у вымерших рептилий межпозвоночные диски Палеонтологи обнаружили у вымерших рептилий межпозвоночные диски

Межпозвоночные диски есть не только у млекопитающих

N+1
Неукротимые: знаки зодиака, которые никто не сможет приручить Неукротимые: знаки зодиака, которые никто не сможет приручить

Кто из знаков зодиака – милый домашний котик, а кто – шерстяной волчара?

Cosmopolitan
Как я вылечился от алкоголизма. Надеюсь, навсегда Как я вылечился от алкоголизма. Надеюсь, навсегда

История основателя сети лапшичных «Воккер» Алексея Гисака

Reminder
Научиться извиняться и не заводить служебные романы. Как вести себя в офисе в эпоху «новой этики» Научиться извиняться и не заводить служебные романы. Как вести себя в офисе в эпоху «новой этики»

Какие правила корпоративной этики выучить, чтобы не нарушать ничьи границы

Forbes
Открыть в приложении