Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Длительное ожирение вызвало экспрессию биомаркеров старения в молодом возрасте Длительное ожирение вызвало экспрессию биомаркеров старения в молодом возрасте

Как ожирение снижает ожидаемую продолжительность жизни

N+1
Принцесса Диана, Виктор Цой, Грейс Келли: все об очень странных авариях Принцесса Диана, Виктор Цой, Грейс Келли: все об очень странных авариях

История самых загадочных аварий со знаменитостями

РБК
Домашние роботы 2.0 — почему андроидам придется пройти семь кругов бюрократического ада Домашние роботы 2.0 — почему андроидам придется пройти семь кругов бюрократического ада

Эволюция робототехники: готовы ли мы морально и юридически к роботам-помощникам?

Inc.
«Я без тебя умру»: 10 признаков созависимости «Я без тебя умру»: 10 признаков созависимости

Что поможет противостоять «психологическому хищнику»

Psychologies
Что такое «сухой запой» и что не так с решением жить в трезвости Что такое «сухой запой» и что не так с решением жить в трезвости

Что такое «сухой запой», почему так происходит и как спастись

Maxim
Любимая блондинка Голливуда. Как Риз Уизерспун из звезды ромкомов стала одной из самых влиятельных женщин кино Любимая блондинка Голливуда. Как Риз Уизерспун из звезды ромкомов стала одной из самых влиятельных женщин кино

Риз Уизерспун входит в сотню самых влиятельных женщин планеты по версии Forbes

Forbes
Почему нам нужно больше «милоты» Почему нам нужно больше «милоты»

Любоваться котятами и щенками — не только нормально, но и полезно!

Psychologies
Дедушка Jeep. Копаемся в истории легендарного Willys MB Дедушка Jeep. Копаемся в истории легендарного Willys MB

Вспоминаем историю главного внедорожника Великой Отечественной войны

РБК
Отрывок романа классика фэнтези Вонды Макинтайр «Луна и Солнце» — и обращение ее коллеги по жанру к российским читателям Отрывок романа классика фэнтези Вонды Макинтайр «Луна и Солнце» — и обращение ее коллеги по жанру к российским читателям

Фрагмент из книги Вонды Макинтайр — классика литературы в жанрах фэнтези

Esquire
Функциональные связи гиппокампа предсказали субъективный стресс Функциональные связи гиппокампа предсказали субъективный стресс

Гиппокамп для этого остался ключевым участком

N+1
8 книг, которые можно прочитать за вечер 8 книг, которые можно прочитать за вечер

Короткие книги, с которыми можно расправиться за несколько часов

РБК
Замена масла в АКП, вариаторе, «роботе». Почему это нужно делать Замена масла в АКП, вариаторе, «роботе». Почему это нужно делать

Для долгой работы коробок в «автоматах» нужно регулярно менять масло

РБК
Как фриланс влияет на здоровье: исследования, проблемы и решения Как фриланс влияет на здоровье: исследования, проблемы и решения

Фриланс многим представлялся как работа мечты, но у этого формата есть нюансы

РБК
«Крутиться, несмотря ни на что»: как сделать бизнес прибыльным в разгар пандемии «Крутиться, несмотря ни на что»: как сделать бизнес прибыльным в разгар пандемии

Предприниматели перестраивают бизнес так, чтобы удовлетворять «чумной» спрос

Forbes
7 растений, которые нужно удобрять яичной скорлупой 7 растений, которые нужно удобрять яичной скорлупой

Не все домашние и садовые растения предпочитают яичную скорлупу

Cosmopolitan
На На

История долгого и счастливого брака Леонида Ярмольника и его жены Оксаны

Cosmopolitan
Кто боится Элизабет Мосс Кто боится Элизабет Мосс

Василий Корецкий о писательском хорроре «Ширли»

Weekend
Бюджетное послание: продуктовые наборы обычных граждан России (фотопроект) Бюджетное послание: продуктовые наборы обычных граждан России (фотопроект)

Сколько денег и на что тратили студент, пенсионерка, маляр и учительница в 2010

Esquire
Как на карантине не превратиться в родителей-монстров? Как на карантине не превратиться в родителей-монстров?

Как удерживаться в рамках «праведного гнева» и не скатываться в ярость

Psychologies
Орангутаны заразили недругов желанием почесаться Орангутаны заразили недругов желанием почесаться

А вот зевание среди орангутанов оказалось незаразным

N+1
Jaguar I-PACE. Идеальная модель Греты Тунберг Jaguar I-PACE. Идеальная модель Греты Тунберг

Дорогая Грета, твои выступления оставили глубокий след в наших сердцах

4x4 Club
Самый мощный квазар потребовал массивного зародыша черной дыры Самый мощный квазар потребовал массивного зародыша черной дыры

Астрономы уточнили характеристики J2157-3602 — ультрамощного квазара

N+1
Сил моих больше нет! Сил моих больше нет!

Что делать, если дети доводят тебя до белого каления

Лиза
Как выбрать брюки: несколько правил идеальной посадки Как выбрать брюки: несколько правил идеальной посадки

Памятка о том, на что стоит обратить внимание, выбирая брюки

Esquire
Промеж глаз: как устроены рогатки для профессионалов Промеж глаз: как устроены рогатки для профессионалов

Рогатка - одно из новых типов оружия, ведь резину человек освоил позже пороха

Популярная механика
Напечатанная микроракета промчалась по кровеносному сосуду Напечатанная микроракета промчалась по кровеносному сосуду

Среди микророботов был установлен рекорд скорости в 2,8 миллиметра в секунду

N+1
6 неочевидных причин, снижающих мотивацию твоей команды (их нельзя игнорировать) 6 неочевидных причин, снижающих мотивацию твоей команды (их нельзя игнорировать)

Шесть не самых очевидных причин, которые демотивируют сотрудников.

Playboy
«Панцерфауст» всемогущий: миф о немецком чудо-оружие «Панцерфауст» всемогущий: миф о немецком чудо-оружие

Насколько были эффективны немецкие ручные противотанковые гранатомёты?

Популярная механика
Правила жизни Боба Дилана Правила жизни Боба Дилана

Правила жизни великого поп-музыканта Боба Дилана

Esquire
Рецепт счастья по-фински Рецепт счастья по-фински

В чем секрет финнов и какие факторы повышают удовлетворенность жизнью?

Psychologies
Открыть в приложении