«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Пролежавших в мерзлоте 24 тысячи лет коловраток вернули к жизни и размножили Пролежавших в мерзлоте 24 тысячи лет коловраток вернули к жизни и размножили

Коловратки способны переживать долгие периоды заморозки

N+1
Ключевые решения: как сын владельца «Ташира» возглавил направление жилой недвижимости и что из этого вышло Ключевые решения: как сын владельца «Ташира» возглавил направление жилой недвижимости и что из этого вышло

Что Карен Карапетян сделал для «Ташира»?

Forbes
В Канаде запустили приложение для управления выбором людей за деньги В Канаде запустили приложение для управления выбором людей за деньги

Кортни Смит создала приложение, позволяющее контролировать решения людей

Inc.
Самозащита без оружия Самозащита без оружия

Психолог: что такое личные границы и как грамотно их выстроить?

Лиза
Инверсное мышление: как похудеть и избавиться от долгов, думая о плохом Инверсное мышление: как похудеть и избавиться от долгов, думая о плохом

Как мысленная уловка поможет избавиться от проблем и достичь целей

РБК
Если муж тебе угрожает Если муж тебе угрожает

История женщины, которая столкнулась с преследованием со стороны мужа

Лиза
15 ошибок, которые снова и снова совершают все девочки 15 ошибок, которые снова и снова совершают все девочки

Все девочки наступают на эти грабли

Cosmopolitan
В шаге от пропасти В шаге от пропасти

Подростковая агрессивность: причины, последствия, предотвращение

Лиза
Надо ли пользоваться солнцезащитными средствами в городе? Надо ли пользоваться солнцезащитными средствами в городе?

Чем отличается состав дневных, пляжных и мейкап-продуктов с SPF?

Psychologies
Муравьи-рабовладельцы утратили значительную часть генов обоняния и вкуса Муравьи-рабовладельцы утратили значительную часть генов обоняния и вкуса

Геном муравьев-рабовладельцев изменился из-за упрощения их социальной жизни

N+1
5 безумных слухов о Ким Чен Ыне 5 безумных слухов о Ким Чен Ыне

«Бригада радости», частный остров и борьба с похмельем

Maxim
#glam_журналистика: Саша Сулим #glam_журналистика: Саша Сулим

Одна из лучших журналисток страны теперь собирает миллионы просмотров на Youtube

Glamour
Красная королева советского подиума: трагическая судьба Регины Збарской Красная королева советского подиума: трагическая судьба Регины Збарской

Регина Збарская — «самое красивое оружие Кремля»

Cosmopolitan
Как это часто не совпадает… Как это часто не совпадает…

Можно ли ужиться вместе людям, у которых разные привычки и увлечения?

Лиза
Мурена-ехидна: рыба, которая умеет питаться на суше Мурена-ехидна: рыба, которая умеет питаться на суше

Звездчатая ехидна (Echidna nebulosa) хватает и глотает жертв на суше

National Geographic
В египетском городе нашли пограничную стелу VI века до нашей эры В египетском городе нашли пограничную стелу VI века до нашей эры

Древнеегипетский монумент обнаружил на своем участке местный житель

N+1
Кто победит аферы «звонарей»? Кто победит аферы «звонарей»?

Черный рынок персональных данных в России бурно развивается

Эксперт
От уведомлений до охоты за головами: как устроена соцсеть Citizen для борьбы с преступностью и что с ней не так От уведомлений до охоты за головами: как устроена соцсеть Citizen для борьбы с преступностью и что с ней не так

Citizen мобилизует людей на поимку преступников за вознаграждение

TJ
10 женских суеверий по поводу цветов (в букетах, горшках и т.д.) 10 женских суеверий по поводу цветов (в букетах, горшках и т.д.)

Разоблачаем главные опасности на пути бесстрашного дарителя букетов

Maxim
Как фотографировать девушку для «Инстаграма», чтобы она осталась довольна Как фотографировать девушку для «Инстаграма», чтобы она осталась довольна

Краткое и простое руководство для фотографов поневоле

Maxim
Лазер в современных войнах: будущее светового оружия Лазер в современных войнах: будущее светового оружия

Как проходят «лазерные бои» в реальной жизни?

Популярная механика
Долгие проводы: как личные фонды помогут регулировать вопросы с наследниками при жизни основателя бизнеса Долгие проводы: как личные фонды помогут регулировать вопросы с наследниками при жизни основателя бизнеса

В России разрешили создавать личные фонды

Forbes
Внимание, Арктика Внимание, Арктика

Архипелаг Северная земля полон жизни

National Geographic
Израиль стал первым в мире государством, запретившим продажу натурального меха Израиль стал первым в мире государством, запретившим продажу натурального меха

В защиту животных: в Израиле запрещена торговля натуральным мехом

National Geographic
Audi e-tron Sportback: история о том, как немцы в фару проектор запихнули Audi e-tron Sportback: история о том, как немцы в фару проектор запихнули

В Россию приехал второй электрический автомобиль от Audi — e-tron Sportback

Популярная механика
Калифорния представила глобальный план спасения бабочек-монархов от ичезновения Калифорния представила глобальный план спасения бабочек-монархов от ичезновения

Популяция бабочек-монархов сократилась на 99 процентов всего за 4 десятилетия

National Geographic
Муж — не владелец. Почему мы до сих пор позволяем диктовать, как нам выглядеть Муж — не владелец. Почему мы до сих пор позволяем диктовать, как нам выглядеть

Почему в XXI веке мужчины по-прежнему диктуют нам, как выглядеть

Cosmopolitan
В долине реки Коа нашли крупнейшие палеолитические петроглифы с быками В долине реки Коа нашли крупнейшие палеолитические петроглифы с быками

Ученые нашли в Португалии древние наскальные изображения

N+1
Легко: ловить рыбу голыми руками Легко: ловить рыбу голыми руками

Инструкция по поимке особо прыткой рыбешки при отсутствии спиннинга или лески

Maxim
Как восстановить удаленные файлы на Windows-компьютере Как восстановить удаленные файлы на Windows-компьютере

Рассказываем, как еще можно спасти стертые файлы

CHIP
Открыть в приложении