Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Неандертальцы изготовили артефакты из добытого в сотнях километров от стоянок обсидиана Неандертальцы изготовили артефакты из добытого в сотнях километров от стоянок обсидиана

Какой обсидиан использовали неандертальцы для изготовления каменных орудий

N+1
Как выпускница Физтеха за два года создала компанию с оценкой в $10 млн Как выпускница Физтеха за два года создала компанию с оценкой в $10 млн

Валерия Коган за 2 года сумела заинтересовать технологией крупные агрокомпании

Forbes
Для чего нужен магниевый анод в бойлерах накопительного типа? Для чего нужен магниевый анод в бойлерах накопительного типа?

От чего и как именно защищает магниевый анод в бойлере косвенного нагрева?

CHIP
«Падшие ангелы», монеты и евробонды: во что во время пандемии вкладывают деньги миллионеры «Падшие ангелы», монеты и евробонды: во что во время пандемии вкладывают деньги миллионеры

Состоятельные клиенты не долго находились в состоянии шока от падения рынков

Forbes
Маме не говори: 12 вещей, которые родителям не нужно знать о твоем мужчине Маме не говори: 12 вещей, которые родителям не нужно знать о твоем мужчине

О чем не стоит рассказывать даже маме?

VOICE
Месть Фиделя Кастро: почему мы ошибаемся в людях и доверяем лжецам Месть Фиделя Кастро: почему мы ошибаемся в людях и доверяем лжецам

Почему мы не понимаем, когда незнакомец врет нам в глаза

Forbes
Кругосветное путешествие Алексея Камерзанова Кругосветное путешествие Алексея Камерзанова

Африканское дно: из Конго в Конго через Конго

4x4 Club
4 научно обоснованные причины, почему быть толстым иногда полезно для здоровья 4 научно обоснованные причины, почему быть толстым иногда полезно для здоровья

Люди с лишним весом застрахованы от болезней, которыми страдают худышки

Maxim
Им только спросить Им только спросить

На что обратить внимание, чтобы найти лучшую и самую подходящую тебе работу

Cosmopolitan
Астероид Рюгу «загорел» под солнечными лучами Астероид Рюгу «загорел» под солнечными лучами

В прошлом астероид Рюгу временно был ближе к Солнцу, чем сейчас

N+1
Как воспринимают развод мужчины, а как — женщины? Как воспринимают развод мужчины, а как — женщины?

Почему мы переживаем развод настолько по-разному?

Psychologies
15 актеров рассказывают о своих 15-ти любимых фильмах 15 актеров рассказывают о своих 15-ти любимых фильмах

Настоящие актеры не смотрят кино, иначе не останется времени на вечеринки

Maxim
«Запертые в невидимом футляре»: как вернуться к нормальной жизни «Запертые в невидимом футляре»: как вернуться к нормальной жизни

Чему нас может научить эта внезапная пандемия

Psychologies
«Возможно, все, кто оглядывался на нас, были русскими»: британцы протестировали «Ниву» и пришли в восторг «Возможно, все, кто оглядывался на нас, были русскими»: британцы протестировали «Ниву» и пришли в восторг

Русский джип в прицеле британского юмора.

Maxim
10 самых идиотских налогов в истории 10 самых идиотских налогов в истории

По сравнению с этими налогами современные покажутся тебе триумфом логики

Maxim
«Да пребудет со мной сила!»: практики самоподдержки «Да пребудет со мной сила!»: практики самоподдержки

Для движения вперед нужен навык, который даст импульс для новых свершений

Psychologies
Львиная доля Львиная доля

Анатолий Цой — о том, каково быть в шкуре Льва

OK!
Правила жизни Шер Правила жизни Шер

Правила жизни певицы и актрисы Шер

Esquire
Спящая красавица Спящая красавица

Как ухаживать за кожей перед сном, чтобы хорошо выглядеть с утра?

Лиза
Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы

Новое исследование в разработке лекарств против болезни Альцгеймера

Популярная механика
Инструмент для анализа поведения пользователей: как развивался Giphy и что Facebook получит с покупкой сервиса Инструмент для анализа поведения пользователей: как развивался Giphy и что Facebook получит с покупкой сервиса

Facebook получит сведения о работе Viber и других приложений, использующих Giphy

VC.RU
Л-1: как в СССР вместо трактора построили первый лимузин Л-1: как в СССР вместо трактора построили первый лимузин

Как выпускались первые советские лимузины

Популярная механика
Тревога провоцирует нас на злость? Тревога провоцирует нас на злость?

Тревога и злость вызывают у нас неприятное эмоциональное возбуждение

Psychologies
Милые голосовые помощники и слежка за гражданами: чем занимается китайский разработчик iFlytek с капитализацией $10 млрд Милые голосовые помощники и слежка за гражданами: чем занимается китайский разработчик iFlytek с капитализацией $10 млрд

История iFlytek: от автоматизации колл-центров до правительственных контрактов

VC.RU
13 шагов миссии SpaceX Crew Dragon в реалистичных картинках 13 шагов миссии SpaceX Crew Dragon в реалистичных картинках

Первый в истории пилотируемый испытательный полет корабля Crew Dragon

Популярная механика
Как продлить отношения на много лет? Полезное мнение специалиста Как продлить отношения на много лет? Полезное мнение специалиста

Социолог Пеппер Шварц о том, как выстроить хорошие отношения с партнером

Cosmopolitan

Армия Кравченко должна была стать главной ударной силой в наступлении на Вену

Популярная механика
5 главных опасностей космических путешествий 5 главных опасностей космических путешествий

Полеты в космос сопряжены с целым рядом трудностей

Популярная механика
Уровень сознания пациентов определили по ЭЭГ при восприятии речи Уровень сознания пациентов определили по ЭЭГ при восприятии речи

У пациентов с нарушениями сознания нашли следы восприятия слов

N+1
Олень, иди за мной Олень, иди за мной

Ксения Рождественская о «Пожаре» Дэвида Линча

Weekend
Открыть в приложении