Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Звери рейха. Образы животных и немецкая пропаганда» «Звери рейха. Образы животных и немецкая пропаганда»

Как евгеника определила облик немецкой овчарки

N+1
Татьяна Бурцева: В темной комнате включите свет! Как вывести из депрессии сотрудников на удаленке Татьяна Бурцева: В темной комнате включите свет! Как вывести из депрессии сотрудников на удаленке

Как спасать компанию, если сотрудники где-то в виртуальном пространстве?

СНОБ
Минус вайб Минус вайб

Чем опасно доверять написание кода нейросетям?

N+1
Бежать по первому писку или оставить проплакаться? Бежать по первому писку или оставить проплакаться?

Во всем работает правило золотой середины, в воспитании детей тоже

Psychologies
Что действительно влияет на уровень холестерина? Что действительно влияет на уровень холестерина?

Как снизить уровень холестерина в крови, пока не стало слишком поздно?

ТехИнсайдер
Герой нашей бесконечности Герой нашей бесконечности

Ксения Рождественская о новом фильме Роя Андерссона

Weekend
Как развить интуицию: 7 эффективных способов Как развить интуицию: 7 эффективных способов

Как и любая другая способность, наша интуиция поддается тренировке

РБК
Что такое комки Биша и стоит ли их удалять? Что такое комки Биша и стоит ли их удалять?

Что такое жировые комки Биша и почему женщины все чаще их удаляют

Cosmopolitan
Дэвид Линч и «Твин Пикс»: 10 главных заблуждений Дэвид Линч и «Твин Пикс»: 10 главных заблуждений

Мифы, которыми оброс и продолжает обрастать «Твин Пикс»

Esquire
Как избавиться от следов тонального крема на воротнике Как избавиться от следов тонального крема на воротнике

Парни имеют не меньше прав на макияж, чем девушки

GQ
Соцсети и карьера: как вести аккаунты, чтобы найти работу Соцсети и карьера: как вести аккаунты, чтобы найти работу

Что и как постить, если вы претендуете на хорошую вакансию

РБК
Создан алгоритм, предсказывающий поведение кубитов под влиянием шума Создан алгоритм, предсказывающий поведение кубитов под влиянием шума

Как эффективно управлять динамикой квантовых битов при наличии внешних шумов?

Популярная механика
Почему «Лучше звоните Солу» как минимум не хуже, чем «Во все тяжкие» Почему «Лучше звоните Солу» как минимум не хуже, чем «Во все тяжкие»

Приквел «Во все тяжкие» оказался историей даже более глубокой и драматичной

Esquire
Virgin Orbit впервые запустила ракету-носитель LauncherOne с самолета Virgin Orbit впервые запустила ракету-носитель LauncherOne с самолета

Компания Virgin Orbit впервые запустила ракету-носитель LauncherOne

N+1
Тилар Маццео: Дети Ирены Тилар Маццео: Дети Ирены

Отрывок из книги Тилара Маццео о польской героине Ирене Сендлер

СНОБ
Как советские автомобили рекламировали за рубежом Как советские автомобили рекламировали за рубежом

Немного выдумки, щепотка трэша

Maxim
Громкие почесывания лангустов оказались слышны за три километра Громкие почесывания лангустов оказались слышны за три километра

Распространение звуков лангустов в воде позволит оценивать размеры их популяций

N+1
Как должны развиваться урбанизированые территории Как должны развиваться урбанизированые территории

Григорий Ревзин о городе будущего

Weekend
Мечтая о путешествиях: 5 захватывающих фильмов о жажде приключений Мечтая о путешествиях: 5 захватывающих фильмов о жажде приключений

Подборка из пяти фильмов о невероятных путешествиях

Cosmopolitan
9 самых злых роботов кинематографа 9 самых злых роботов кинематографа

Роботы в кино — это настоящее воплощение зла

Популярная механика
Окно в Париж Окно в Париж

Хозяйка квартиры на Патриарших прудах захотела создать дома парижскую атмосферу

AD
Секс и страх: 20 лучших триллеров с эротическим подтекстом Секс и страх: 20 лучших триллеров с эротическим подтекстом

Фильмы ужасов уместно заигрывают с теорией и практикой соблазнения

Esquire
Моделирование помогло рассчитать угол падения «динозаврового» астероида Моделирование помогло рассчитать угол падения «динозаврового» астероида

Падение астероида могло стать причиной существенного изменения климата

N+1
По сравнению со «сверстниками» Солнце оказалось намного слабее По сравнению со «сверстниками» Солнце оказалось намного слабее

Исследования показывают, что мы не так уж и хорошо знаем нашу собственную звезду

Популярная механика
Африканские барабаны: быстрая связь на дальние расстояния Африканские барабаны: быстрая связь на дальние расстояния

В тот момент, когда мы заканчиваем произносить слово, его больше не существует

Популярная механика
«Потягушки»: как встать с постели «Потягушки»: как встать с постели

Как, едва проснувшись, сразу задать правильный тон всему дню

Psychologies
Кто может, пусть сделает лучше Кто может, пусть сделает лучше

20 лет назад в Москве состоялась премьера «Гладиатора»

OK!
Долю человеческих клеток в химере с мышью подняли до четырех процентов Долю человеческих клеток в химере с мышью подняли до четырех процентов

Американским биологам удалось создать химерные зародыши человека и мыши

N+1
Конец эпохи нефти: почему она больше не будет особым товаром Конец эпохи нефти: почему она больше не будет особым товаром

Нефть, как в свое время уголь, постепенно превращается в нормальный товар

Forbes
Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы

Новое исследование в разработке лекарств против болезни Альцгеймера

Популярная механика
Открыть в приложении