Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Вынашивающих потомство в горловом мешке лягушек эвакуировали с чилийского острова из-за смертельного грибка Вынашивающих потомство в горловом мешке лягушек эвакуировали с чилийского острова из-за смертельного грибка

Как редких южноамериканских лягушек спасли в Лондонском зоопарке

N+1
Свободный художник Свободный художник

Актриса Дарья Руденок о своем ярком образе в сериале «257 причин, чтобы жить»

OK!
IT-разработка «внутри» или готовое решение: что выбрать IT-разработка «внутри» или готовое решение: что выбрать

Стоит ли IT-компании разрабатывать ПО с нуля или лучше купить готовое решение?

Inc.
Пэлтроу - Роуз в Пэлтроу - Роуз в

Собрали самые яркие примеры, когда лучше было согласиться

Cosmopolitan
Ирландская загадочность, стиль и бездонные голубые глаза: 7 лучших фильмов с Киллианом Мерфи Ирландская загадочность, стиль и бездонные голубые глаза: 7 лучших фильмов с Киллианом Мерфи

Самые знаковые работы харизматичного актера Киллиана Мерфи

Psychologies
5 главных опасностей космических путешествий 5 главных опасностей космических путешествий

Полеты в космос сопряжены с целым рядом трудностей

Популярная механика
10 легендарных вечеринок 10 легендарных вечеринок

10 легендарных вечеринок, которые не всегда были про музыку или танцы

Esquire
Создан алгоритм, предсказывающий поведение кубитов под влиянием шума Создан алгоритм, предсказывающий поведение кубитов под влиянием шума

Как эффективно управлять динамикой квантовых битов при наличии внешних шумов?

Популярная механика
Как сделать свой мозг стрессоустойчивым: 6 техник, которые работают Как сделать свой мозг стрессоустойчивым: 6 техник, которые работают

Стань хозяином своего душевного равновесия

Playboy
Играет на равных Играет на равных

Кейт Бланшетт о том, как «Миссис Америка» может помочь избежать ошибок прошлого

Grazia
10 видов современного оружия, изобретённого в глубокой древности 10 видов современного оружия, изобретённого в глубокой древности

Предтечи нынешних средств ведения войны насчитывают по несколько тысяч лет

Популярная механика
Как убрать акне на спине и чем мазать шею: уход за неочевидными частями тела Как убрать акне на спине и чем мазать шею: уход за неочевидными частями тела

Как сохранить молодость ушей? Чем убрать прыщи на спине?

Cosmopolitan
«Нет» значит «нет»: почему мужчинам не нравятся наши прямые ответы «Нет» значит «нет»: почему мужчинам не нравятся наши прямые ответы

Почему мужчинам не хочется слышать от женщин прямые ответы

Cosmopolitan
Сильный и мертвый: какова связь между обязанностью мужчины быть сильным и количеством самоубийств Сильный и мертвый: какова связь между обязанностью мужчины быть сильным и количеством самоубийств

Общество должно разрешить мужчинам быть слабыми

Esquire
Правила жизни Шона Бина Правила жизни Шона Бина

Правила жизни актера Шона Бина

Esquire
Война без особых причин Война без особых причин

Киберспорт гораздо раньше, чем ожидалось, становится главным в нашем мире

GQ
«Чандра» увидела «сверхсветовой» джет в двойной системе «Чандра» увидела «сверхсветовой» джет в двойной системе

Благодаря телескопу «Чандра» мы можем больше узнать о движении плазмы в космосе

N+1
Почему нам так нравится секс — и другие аспекты сексуального поведения человека Почему нам так нравится секс — и другие аспекты сексуального поведения человека

Почему люди занимаются сексом, когда им вздумается?

Esquire
Где и как познакомиться с мужчиной во время карантина Где и как познакомиться с мужчиной во время карантина

Пандемия — не повод отказываться от новых встреч и знакомств

Psychologies
ICQ, Prisma, ЖЖ и другие: как чувствуют себя некогда популярные сервисы ICQ, Prisma, ЖЖ и другие: как чувствуют себя некогда популярные сервисы

Вы удивитесь, но некоторые из этих приложений еще работают

VC.RU
Дуа Липа: «Надо мной смеялись. И вскоре я возненавидела все, чем занимаюсь» Дуа Липа: «Надо мной смеялись. И вскоре я возненавидела все, чем занимаюсь»

Интервью с Дуа Липой – самой неуклюжей танцовщицей в истории шоу-бизнеса

GQ
«Бежишь за ним, а у него есть код». В пропусках обнаружили ошибки «Бежишь за ним, а у него есть код». В пропусках обнаружили ошибки

Об ошибках в приложении «Карантин» рассказали сотрудники ГИБДД

РБК
Судьба минимализма: Jil Sander SS 07, Celine SS 10, Hermes FW 15 Судьба минимализма: Jil Sander SS 07, Celine SS 10, Hermes FW 15

Новая версия минимализма от Рафа Симонса создала образ современной женщины

Weekend
Искусство в моде или модное искусство: тренд на арт-фэшн коллаборации Искусство в моде или модное искусство: тренд на арт-фэшн коллаборации

Мода и искусство неразрывны, они всегда идут рука об руку

Cosmopolitan
Фильмы, которые должны были получить «Оскары» в последние 10 лет и не получили Фильмы, которые должны были получить «Оскары» в последние 10 лет и не получили

«Оскар» в категории «Лучший фильм» всё время уходит не по адресу

Maxim
Музыка тёмной материи: можно ли услышать “песню” невидимой Вселенной Музыка тёмной материи: можно ли услышать “песню” невидимой Вселенной

Что особенного в темной материи?

Популярная механика
Далеко не первая Далеко не первая

Если ты выбрала «мужчину с прошлым», в браке будет маячить призрак его бывшей

Cosmopolitan
Ты в ритме танца! Live-сериал о самоизоляции Ты в ритме танца! Live-сериал о самоизоляции

Юлиана Бухольц заряжает свои ответы на сжигание лишних калорий

Cosmopolitan
Трихолог — о способах борьбы с выпадением волос Трихолог — о способах борьбы с выпадением волос

Как справиться с облысением?

РБК
Человек-будильник и еще 4 необычные ретрофотографии Человек-будильник и еще 4 необычные ретрофотографии

Хорошо, что человечество изобрело не только фото, но и буквы

Maxim
Открыть в приложении