Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

У берегов Сингапура нашли 3,5 тонны средневековой китайской посуды У берегов Сингапура нашли 3,5 тонны средневековой китайской посуды

С давних времен остров Сингапур выступал важным перевалочным пунктом для моряков

N+1
Пара нормальных Пара нормальных

Татьяна Алешичева об экранизации романа Салли Руни

Weekend
Электростимуляция заставила жука-киборга лезть на стену Электростимуляция заставила жука-киборга лезть на стену

Как электрическая стимуляция заставляет двигаться жука-киборга

N+1
Мини-оргазм со скоростью 150 км/ч: тайны человеческого чихания Мини-оргазм со скоростью 150 км/ч: тайны человеческого чихания

Чихать полезно для здоровья, а еще полезно знать механизмы этого процесса

Популярная механика
«Поел морковки и пожелтел»: какие витамины нам не нужны «Поел морковки и пожелтел»: какие витамины нам не нужны

Какими рисками чревато расхожее «попей витаминчиков», откуда взялась эта мода?

РБК
Год без Победы. Как пандемия повлияет на память о войне Год без Победы. Как пандемия повлияет на память о войне

Впервые за два десятилетия, Красная площадь в Москве на 9 мая останется пустой

СНОБ
Правила жизни Джона Траволты Правила жизни Джона Траволты

Джон Траволта, Энглвуд, США, 66 лет

Esquire
«Снимаешь для себя, а выходит для истории» «Снимаешь для себя, а выходит для истории»

Весной 1945 года вместе с Красной армией в Берлин вошли фронтовые операторы

Дилетант
10 легендарных вечеринок 10 легендарных вечеринок

10 легендарных вечеринок, которые не всегда были про музыку или танцы

Esquire
Как крупнейший производитель игрушек намерен снизить издержки с помощью картошки и кукурузы Как крупнейший производитель игрушек намерен снизить издержки с помощью картошки и кукурузы

Новое увлечение миллиардера Фрэнсиса Чой Чи-Мина — биопластик из крахмала

Forbes
Энергетическая формула собаки Энергетическая формула собаки

Эффект от семейных дел можно попробовать просчитать с помощью формулы

СНОБ
Встречайте топ-10 отраслей, в которых заняты наиболее успешные люди Встречайте топ-10 отраслей, в которых заняты наиболее успешные люди

Можешь выбирать любую из этих отраслей — успех тебе почти обеспечен

Playboy
Хуже, чем СПИД и Вьетнам: как самоизоляция подкосила поколение 30-летних Хуже, чем СПИД и Вьетнам: как самоизоляция подкосила поколение 30-летних

Миллениалы чаще остальных страдают от стресса во время карантина

Forbes
«Это адское испытание»: Леонид Парфенов и Павел Лунгин о пандемии, разоблачении власти и шансе для талантливых «Это адское испытание»: Леонид Парфенов и Павел Лунгин о пандемии, разоблачении власти и шансе для талантливых

Каким будет мир после карантина?

Forbes
Новая глава семьи: кто такие stay-at-home dads — «домашние папы» Новая глава семьи: кто такие stay-at-home dads — «домашние папы»

Что означает выпущенная Lego в 2016 году фигурка «домохозяина»?

Esquire
У стеклянных лягушек описали новый тип камуфляжа У стеклянных лягушек описали новый тип камуфляжа

У тропических стеклянных лягушек обнаружили совершенно новый тип камуфляжа

N+1
Принцы и будущие президенты: горячие сыновья политиков – что мы о них знаем Принцы и будущие президенты: горячие сыновья политиков – что мы о них знаем

Самые завидные холостяки мира

Cosmopolitan
Антивирус: жизнь после карантина Антивирус: жизнь после карантина

Как привыкнуть к новым реалиям и сохранить психическое здоровье

Cosmopolitan
Месть нерождённых и спасение Руси: чем живут мужчины, выступающие против абортов Месть нерождённых и спасение Руси: чем живут мужчины, выступающие против абортов

Идеи, продвигаемые мужчинами, которые хотят за женщин решать вопрос материнства

Cosmopolitan
Патриарх Иван Ильич, крепостная Брежнева и императрица Катюша Патриарх Иван Ильич, крепостная Брежнева и императрица Катюша

Сергей Ходнев о приключениях русских фамилий и обстоятельств в сериале «Великая»

Weekend
Почему Google отказался делиться искусственным интеллектом с нефтяниками Почему Google отказался делиться искусственным интеллектом с нефтяниками

Google отказался помогать нефтяникам в разведке и добыче сырья

Forbes
7 фактов о фильме «Кошмар на улице Вязов» 7 фактов о фильме «Кошмар на улице Вязов»

В 1984 году, в золотую эпоху фильмов, мы познакомились с Фредди Крюгером

Maxim
Что читать на выходных: отрывок из книги Тома Поллока «Белый кролик, красный волк», которая понравится и взрослым, и подросткам Что читать на выходных: отрывок из книги Тома Поллока «Белый кролик, красный волк», которая понравится и взрослым, и подросткам

Фрагмент «Белого кролика, красного волка» — светлой истории с налётом триллера

Esquire
«Это ловушка для водителей». Штрафы за среднюю скорость пропишут в КоАП «Это ловушка для водителей». Штрафы за среднюю скорость пропишут в КоАП

Минюсту предложили добавить в КоАП штрафы за превышение средней скорости

РБК
Города героев Города героев

Города, которые за отвагу и мужество удостоились почетных званий

Лиза
Новые простые Новые простые

Ксения Рождественская об американских демократах в фильме «Снести Большой дом»

Weekend
История рубашки поло: от спортивной формы до универсальной классики мужского гардероба История рубашки поло: от спортивной формы до универсальной классики мужского гардероба

Рубашка поло: рассматриваем в деталях

Esquire
Молодой горячий нептун мигрировал к своей звезде Молодой горячий нептун мигрировал к своей звезде

В системе K2-25 не нашли другого тела, которое изменило бы орбиту экзопланеты

N+1
Этическая нейросеть запретила гнаться за истиной и разрешила пытать заключенных Этическая нейросеть запретила гнаться за истиной и разрешила пытать заключенных

Нейросеть порекомендовала не доверять машинам

N+1
От Макинтоша до Лисицкого: 10 переизданных объектов знаменитых дизайнеров От Макинтоша до Лисицкого: 10 переизданных объектов знаменитых дизайнеров

Легендарные объекты дизайна, которые перевыпустили не менее легендарные фабрики

РБК
Открыть в приложении