Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Немедикаментозное снижение массы обрекло канадца на хроническую боль Немедикаментозное снижение массы обрекло канадца на хроническую боль

Почему может развиться хроническая боль на фоне снижения массы тела

N+1
Самый знаменитый гангстер Америки: реальная история последних лет жизни Аль Капоне Самый знаменитый гангстер Америки: реальная история последних лет жизни Аль Капоне

Все, что стоит знать о последних годах жизни легендарного босса мафии

Esquire
Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты! Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты!

Как ИИ выражает свои «принципы» в диалогах с людьми

ТехИнсайдер
Удобная статья: как расправляются с неугодными журналистами и блогерами Удобная статья: как расправляются с неугодными журналистами и блогерами

Обвинения в вымогательстве — все более популярный способ преследования

Forbes
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Ученые успешно воспроизвели аспекты теории перспектив Ученые успешно воспроизвели аспекты теории перспектив

Теорию перспектив из работы Канемана и Тверски удалось применить на практике

N+1
Райский уголок Райский уголок

Пришло время сменить декорации!

Лиза
Правила жизни Уолта Диснея Правила жизни Уолта Диснея

Правила жизни знаменитого художника-мультипликатора Уолта Диснея

Esquire
Глазами иностранца: чем руководствуются русские при принятии решений Глазами иностранца: чем руководствуются русские при принятии решений

Чем руководствуются иностранцы и русские при принятии решений

Forbes
Правила жизни Шер Правила жизни Шер

Правила жизни певицы и актрисы Шер

Esquire
Сомневаешься в своих силах? 5 типов синдрома самозванца (и как с ними бороться) Сомневаешься в своих силах? 5 типов синдрома самозванца (и как с ними бороться)

Некоторые из нас страдают синдромом самозванца, даже не подозревая об этом.

Playboy
Танцевальные тренировки по видео: хип-хоп, табата, зумба и другие Танцевальные тренировки по видео: хип-хоп, табата, зумба и другие

Как разные танцевальные стили приспособили под тренировки

Psychologies
Тогда и сейчас: как выглядят самые крепкие голливудские пары Тогда и сейчас: как выглядят самые крепкие голливудские пары

Они повстречали друг друга в молодости и с тех пор не расставались

Cosmopolitan
Полководец во френче. Какие портреты северные корейцы обязаны вывешивать в домах Полководец во френче. Какие портреты северные корейцы обязаны вывешивать в домах

Отрывок из книги «К северу от 38-й параллели: Как живут в КНДР»

Forbes
Патриарх Иван Ильич, крепостная Брежнева и императрица Катюша Патриарх Иван Ильич, крепостная Брежнева и императрица Катюша

Сергей Ходнев о приключениях русских фамилий и обстоятельств в сериале «Великая»

Weekend
Триллионы рублей выталкивают на биржу: к чему приведет снижение доходности депозитов Триллионы рублей выталкивают на биржу: к чему приведет снижение доходности депозитов

Общий уровень процентных ставок в России демонстрирует заметное снижение

Forbes
Неподдельная красота: как выглядели жены советских хоккеистов Неподдельная красота: как выглядели жены советских хоккеистов

Жены советских хоккеистов: внешне хрупкие, но с огромной внутренней силой

Cosmopolitan
«В России любят миловать»: как Регина Тодоренко потеряла десятки миллионов рублей, но завоевала тысячи новых подписчиков «В России любят миловать»: как Регина Тодоренко потеряла десятки миллионов рублей, но завоевала тысячи новых подписчиков

Как быстрые и правильные шаги помогли Регине Тодоренко восстановить репутацию

Forbes
Лана Дель Рей Лана Дель Рей

Правила жизни Ланы Дель Рей

Esquire
19 обывательских вопросов о стендапе: отвечают стендап-паблики «ВКонтакте» 19 обывательских вопросов о стендапе: отвечают стендап-паблики «ВКонтакте»

Что такое стендап? Есть ли в России звезды этого жанра комедии?

Esquire
Как индустрии выживают в период пандемии: рестораны Как индустрии выживают в период пандемии: рестораны

Рестораторы и шеф-повара о том, как они справляются с кризисом

РБК
Аренда тренажёров, доставка еды и онлайн-марафоны​: фитнес-клубы нашли новые модели для работы после карантина Аренда тренажёров, доставка еды и онлайн-марафоны​: фитнес-клубы нашли новые модели для работы после карантина

Как работают фитнес-клубы во время простоя

VC.RU
Ольга Хейфиц: Камера смысла Ольга Хейфиц: Камера смысла

Отрывок из нового романа Ольги Хейфиц

СНОБ
Игра на плоскости Игра на плоскости

Интерьер московской квартиры по дизайну Максима Новинькова

SALON-Interior
Новые простые Новые простые

Ксения Рождественская об американских демократах в фильме «Снести Большой дом»

Weekend
Функциональные связи гиппокампа предсказали субъективный стресс Функциональные связи гиппокампа предсказали субъективный стресс

Гиппокамп для этого остался ключевым участком

N+1
Спиннер превратили в экспресс-тест для диагностики инфекций мочевых путей Спиннер превратили в экспресс-тест для диагностики инфекций мочевых путей

Для работы теста его нужно крутить так же, как и обычный спиннер

N+1
Покажите это школьникам! 6 самых необычных экранизаций классики Покажите это школьникам! 6 самых необычных экранизаций классики

Подборка фильмов по классике, которые не дадут вам заскучать

Cosmopolitan
«Если не можешь купить картину, купи художника»: вышел новый сезон сериала «Миллиарды» «Если не можешь купить картину, купи художника»: вышел новый сезон сериала «Миллиарды»

Пятый сезон «Миллиардов» — сериала о сильных, богатых и беспринципных

Forbes
Донорские стволовые клетки позволили новорожденному японцу дожить до пересадки печени Донорские стволовые клетки позволили новорожденному японцу дожить до пересадки печени

Первая в мире операция по пересадке клеток печени

N+1
Открыть в приложении