Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Человеческую мышцу вырастили внутри эмбриона свиньи Человеческую мышцу вырастили внутри эмбриона свиньи

Ученые смогли получить гуманизированную ткань внутри химерного зародыша

N+1
«Если я умер»: какие распоряжения оставить близким «Если я умер»: какие распоряжения оставить близким

Стоит ли оставлять письма родным на случай серьезной болезни или смерти

Psychologies
Правила для чужих: почему растет вероятность блокировки YouTube и Facebook Правила для чужих: почему растет вероятность блокировки YouTube и Facebook

Какое будущее ждет иностранные интернет-сервисы в России?

Forbes

Мифы о китайских фабриках развеяла дизайнер Екатерина

Esquire
Правила здорового сна: уберите от кровати гаджеты и яблоки Правила здорового сна: уберите от кровати гаджеты и яблоки

Удается ли вам спать достаточное количество часов?

Psychologies
Как изменится туризм после пандемии: 8 прогнозов от тревел-экспертов Как изменится туризм после пандемии: 8 прогнозов от тревел-экспертов

Когда-нибудь мы вновь отправимся путешествовать, но немного по-другому

Playboy
Знают свое место Знают свое место

Как сделать ванную комнату и функциональной, и красивой

Grazia
Неподдельная красота: как выглядели жены советских хоккеистов Неподдельная красота: как выглядели жены советских хоккеистов

Жены советских хоккеистов: внешне хрупкие, но с огромной внутренней силой

Cosmopolitan
Молодой горячий нептун мигрировал к своей звезде Молодой горячий нептун мигрировал к своей звезде

В системе K2-25 не нашли другого тела, которое изменило бы орбиту экзопланеты

N+1
Джоан Рамос: Ферма Джоан Рамос: Ферма

Первая глава феминистического романа Джоан Рамос

СНОБ
Проект “Гамма”: как ВАЗ-2108 строили спецы из Porsche Проект “Гамма”: как ВАЗ-2108 строили спецы из Porsche

"Восьмерка" – совместное детище советского и немецкого автопромов

Популярная механика
От Кегресса до От Кегресса до

Примеры, которые позволяют с гордостью говорить о машинах нашей страны

Популярная механика
Как в России планировали бороться с пьянством, но вместо этого боролись с трезвостью Как в России планировали бороться с пьянством, но вместо этого боролись с трезвостью

Краткая история отношений государства с водкой

Weekend
Жжет, но кормит Жжет, но кормит

Простая поэзия равиоли с крапивой, которая вдохновит даже гурманов

Огонёк
Стволовые клетки человека восстановили миелиновые оболочки в мозге взрослых мышей Стволовые клетки человека восстановили миелиновые оболочки в мозге взрослых мышей

Стволовые клетки человека снизили проявления нейродегенерации у мышей

N+1
В поисках обретенного времени В поисках обретенного времени

Анна Толстова о том, что изоляция может научить нас смотреть видеоарт

Weekend
Почему перуанцы — один из самых низкорослых народов в мире? Почему перуанцы — один из самых низкорослых народов в мире?

У перуанцев найден вариант гена, отвечающий за изменения роста

National Geographic
Как защитить свои аккаунты в социальных сетях? Как защитить свои аккаунты в социальных сетях?

Советуем задуматься о безопасности своих аккаунтов

GQ
Как Наоми Осака стала самой высокооплачиваемой спортсменкой в истории и обогнала Шарапову Как Наоми Осака стала самой высокооплачиваемой спортсменкой в истории и обогнала Шарапову

Как Наоми Осака заработала $37 млн, побив рекорд Марии Шараповой

Forbes
«Умная» одежда: 10 предметов из будущего, доступных уже сейчас «Умная» одежда: 10 предметов из будущего, доступных уже сейчас

Технологичные предметы гардероба, которые значительно упрощают жизнь

РБК
Игры разума: лучшие трюки, которые поставят ваш мозг в тупик Игры разума: лучшие трюки, которые поставят ваш мозг в тупик

Оказывается, сложный человеческий мозг чертовски просто обмануть

Популярная механика
Запоздалые припарки: успеет ли правительственная поддержка предотвратить гибель малого ретейла в России Запоздалые припарки: успеет ли правительственная поддержка предотвратить гибель малого ретейла в России

Более половины малых ретейлеров теряют 50% оборота

Forbes
Мама сказала Мама сказала

Как взрослой дочери наконец-то стать независимой

Cosmopolitan
Самый некрасивый во дворе — фиаско последнего большого «Форда» Самый некрасивый во дворе — фиаско последнего большого «Форда»

Жаба, гаргулья, чудовище — это лишь несколько прозвищ несчастного Scorpio.

Maxim
Его величество логарифм Его величество логарифм

Логарифмы интересуют математиков разных времен

Наука и жизнь
Астрофизикам удалось связать нейтрино сверхвысоких энергий со вспышками квазаров Астрофизикам удалось связать нейтрино сверхвысоких энергий со вспышками квазаров

Проведен анализ светимости ядер активных галактик в радиодиапазоне

N+1
«Спать хочется»: 8 причин постоянной усталости и как с ними бороться «Спать хочется»: 8 причин постоянной усталости и как с ними бороться

Что делать, если вы чувствуете апатию и слабость уже с обеда

РБК
«Сегодня камеру можно направить только на себя» «Сегодня камеру можно направить только на себя»

Марина Разбежкина о том, как изоляция обнулила киноязык

Weekend
Что такое комки Биша и стоит ли их удалять? Что такое комки Биша и стоит ли их удалять?

Что такое жировые комки Биша и почему женщины все чаще их удаляют

Cosmopolitan
Арсмирандит и леманнит: в камчатском вулкане обнаружили два новых минерала Арсмирандит и леманнит: в камчатском вулкане обнаружили два новых минерала

Новые минералы — соединения, содержащие наноразмерные кластеры

National Geographic
Открыть в приложении