Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Балджи у далеких ярких субмиллиметровых галактик сформировались за счет вспышек звездообразования Балджи у далеких ярких субмиллиметровых галактик сформировались за счет вспышек звездообразования

Телескопы ALMA и «Джеймс Уэбб» наблюдали балджи у субмиллиметровых галактик

N+1
Хорхе Вайехо: «Мы — гиды в мире будущего гастрономии» Хорхе Вайехо: «Мы — гиды в мире будущего гастрономии»

Интервью с Хорхе Вайехо — одним из главных шефов Латинской Америки

Bones
ИИ научился создавать реалистичные спутниковые снимки будущих наводнений ИИ научился создавать реалистичные спутниковые снимки будущих наводнений

Ученые разработали метод, который генерирует «снимки» будущих наводнений

ТехИнсайдер
Как включить самообладание: правило 90 секунд Как включить самообладание: правило 90 секунд

Можем ли мы выбирать, как реагировать на раздражающие обстоятельства?

Psychologies
Исследование выявило один фактор, по которому можно понять, что вы находитесь в здоровых отношениях Исследование выявило один фактор, по которому можно понять, что вы находитесь в здоровых отношениях

Как узнать, что ваши отношения здоровые? Поможет поступок, выявленный учеными

ТехИнсайдер
3 простых финансовых лайфхака 3 простых финансовых лайфхака

Эти финхаки помогут сократить расходы, не изменяя потребительским привычкам

Maxim
Апокалипсис Дрездена: дуэли «ковровых бомбардировок» Апокалипсис Дрездена: дуэли «ковровых бомбардировок»

Одна из самых спорных и противоречивых военных операций Второй мировой

Популярная механика
Апсайклинг по-королевски: как английский бренд By Walid создает одежду из тканей XIX века Апсайклинг по-королевски: как английский бренд By Walid создает одежду из тканей XIX века

Бренд By Walid должен заинтересовать любого коллекционера нетривиальных вещей

GQ
Застенчивость ребенка — повод для беспокойства? Застенчивость ребенка — повод для беспокойства?

Застенчивость — патология или просто особенность личности?

Psychologies
10 стадий отношений, о которых должна знать каждая пара (на какой вы?) 10 стадий отношений, о которых должна знать каждая пара (на какой вы?)

Какие существуют этапы романтических отношений?

Playboy
Главной причиной выцветания картины Мунка «Крик» оказалась влажность Главной причиной выцветания картины Мунка «Крик» оказалась влажность

Знаменитое полотно Эдварда Мунка «Крик» постепенно обесцвечивается

N+1
Родные... и чужие Родные... и чужие

Нередко братья и сестры не ладят и даже испытывают неприязнь друг к другу

Лиза
Одна вокруг света в карантине. Воспоминания об иранском гостеприимстве и любви к русским Одна вокруг света в карантине. Воспоминания об иранском гостеприимстве и любви к русским

Ирина Сидоренко продолжает вспоминать свои недавние приключения

Forbes
Лифт на орбиту: правда и вымысел Лифт на орбиту: правда и вымысел

О башне, уходящей в небо, мечтали многие поколения землян

Популярная механика
Мужчины испокон веков ходили на каблуках Мужчины испокон веков ходили на каблуках

Вы тоже сможете ходить на каблуках – главное, правильно начать

GQ
Ищет, где глубже Ищет, где глубже

Cosmo-эксперимент: наш корреспондент отправляется на секс-тренинг

Cosmopolitan
Майли Сайрус, Меган Фокс и еще 6 знаменитостей, которые сменили имидж Майли Сайрус, Меган Фокс и еще 6 знаменитостей, которые сменили имидж

Популярные люди часто меняют стиль, прически и макияж для привлечения внимания

РБК
Зачем «Яндексу» мессенджер: глава сервиса рассказал о конкуренции, удержании аудитории, монетизации и будущем Зачем «Яндексу» мессенджер: глава сервиса рассказал о конкуренции, удержании аудитории, монетизации и будущем

Интервью с руководителем «Яндекс.Мессенджера» Виктором Тарнавским

VC.RU
Реалистичность игровых персонажей: как не угодить в «зловещую долину» Реалистичность игровых персонажей: как не угодить в «зловещую долину»

Человекоподобные объекты могут вызвать чувство отвращения

Популярная механика
Михаил Булгаков. Михаил Булгаков.

Путевые заметки Михаила Булгакова о Крыме

Esquire
Антивирус: жизнь после карантина Антивирус: жизнь после карантина

Как привыкнуть к новым реалиям и сохранить психическое здоровье

Cosmopolitan
Таких не берут в психонавты Таких не берут в психонавты

Стинг, Бен Стиллер и принцесса Лея рассказывают, как употребляли галлюциногены

СНОБ
Не проспать опасность: как всегда быть начеку? Не проспать опасность: как всегда быть начеку?

Нужна ли ситуативная готовность обычному человеку и может ли он ее освоить?

Популярная механика
Спящая красавица Спящая красавица

Как ухаживать за кожей перед сном, чтобы хорошо выглядеть с утра?

Лиза
Долю человеческих клеток в химере с мышью подняли до четырех процентов Долю человеческих клеток в химере с мышью подняли до четырех процентов

Американским биологам удалось создать химерные зародыши человека и мыши

N+1
Неподдельная красота: как выглядели жены советских хоккеистов Неподдельная красота: как выглядели жены советских хоккеистов

Жены советских хоккеистов: внешне хрупкие, но с огромной внутренней силой

Cosmopolitan
Бодрящие факты о похмелье: действительно ли алкоголь обезвоживает? Бодрящие факты о похмелье: действительно ли алкоголь обезвоживает?

Алкоголь действует на организм несколько иначе, чем ученые предполагали

Популярная механика
Без царя в голове. Как беспилотные автомобили перекраивают реальность Без царя в голове. Как беспилотные автомобили перекраивают реальность

Мир всё ближе к черте, когда место водителя займет искусственный интеллект

Forbes
Как защитить свои аккаунты в социальных сетях? Как защитить свои аккаунты в социальных сетях?

Советуем задуматься о безопасности своих аккаунтов

GQ
Пушки острова Русский: как русская батарея наводила страх на японцев Пушки острова Русский: как русская батарея наводила страх на японцев

Оборона морских портов должна быть жесткой и несгибаемой

Популярная механика
Открыть в приложении