«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

9 мифов об Альберте Эйнштейне 9 мифов об Альберте Эйнштейне

Правда и мифы о создателе теории относительности

Вокруг света
Последняя трапеза: 7 продуктов питания, которые могут убить Последняя трапеза: 7 продуктов питания, которые могут убить

Всегда думайте о том, что вы кладете в рот!

Популярная механика
Считай по головам Считай по головам

Как математические модели помогают экологам прогнозировать будущее видов

N+1
Пэрис в велюре, Бритни с голым животом: как одевались звезды-тусовщицы в нулевые Пэрис в велюре, Бритни с голым животом: как одевались звезды-тусовщицы в нулевые

Вспоминаем, что носили звезды-тусовщицы в нулевые

Cosmopolitan
Это провокация Это провокация

Гарри Нуриев рассказал, кто и что интересует его в современном искусстве

AD
Кем был и кто есть для нас Виктор Цой Кем был и кто есть для нас Виктор Цой

Лидер «Кино» был рок-иконой, жившей в России

GQ
Победивший голод: как Победивший голод: как

Лунпин Юань – ученый, спасший десятки миллионов жизней

Популярная механика
«Наука Шерлока Холмса: методы знаменитого сыщика в расследовании преступлений прошлого и настоящего». Отрывок из книги Стюарт Росс «Наука Шерлока Холмса: методы знаменитого сыщика в расследовании преступлений прошлого и настоящего». Отрывок из книги Стюарт Росс

Отрывок из книги Стюарта Росса: как научные знания помогают в расследованиях

СНОБ
Петр и Феврония: вместе несмотря ни на что Петр и Феврония: вместе несмотря ни на что

Петр и Феврония — святые покровители брака

Psychologies
История Стиви: каким получился сериал История Стиви: каким получился сериал

"История Лизи" — сериал-адаптация романа Стивена Кинга по сценарию Стивена Кинга

Esquire
Что случается после «да». Почему секспросвет молчит о женском оргазме Что случается после «да». Почему секспросвет молчит о женском оргазме

Почему тема женского оргазма — тайна, покрытая мраком

СНОБ
5 препятствий на пути к стройности 5 препятствий на пути к стройности

Что именно мешает похудеть?

Psychologies
Вспомнить всё Вспомнить всё

О чем мечтали в детстве звезды российской футбольной сборной?

Men’s Health
Белковая стимуляция: самый современный способ похудеть Белковая стимуляция: самый современный способ похудеть

С помощью правильной схемы питания ты можешь "ускорить" метаболизм вдвое

Cosmopolitan
Наше всё: 11 мифов о Пушкине Наше всё: 11 мифов о Пушкине

А.С. Пушкин немало сделал для того, чтобы его биография походила на легенду

Вокруг света
Синдром «серой мышки»: почему женщины отказываются от ярких нарядов Синдром «серой мышки»: почему женщины отказываются от ярких нарядов

Почему женщины не решаются носить яркую одежду и как с этим бороться?

Psychologies
Маленький Будда: как поездка в Бурятию научила меня любить Маленький Будда: как поездка в Бурятию научила меня любить

Ренат Давлетгильдеев о главной поездке в своей жизни

СНОБ
Темная сторона аэробики Темная сторона аэробики

Сериал «В ритме жизни», злое исследование американских 80-х

Weekend
Орнитологам не удалось обмануть соек с помощью двух классических фокусов Орнитологам не удалось обмануть соек с помощью двух классических фокусов

Орнитологи из Кембриджа изучили, как сойки воспринимают фокусы

N+1
Как у Джиджи и Кайли: модный звездный маникюр, который можно повторить дома Как у Джиджи и Кайли: модный звездный маникюр, который можно повторить дома

Дизайн ногтей, который в тренде у мировых звезд

Cosmopolitan
Космическая археология: памятники, обнаруженные свысока Космическая археология: памятники, обнаруженные свысока

Кому предназначали обитатели пустыни Наска свои гигантские рисунки?

Популярная механика
От королевы Виктории до Джона Кеннеди: почему яхтенный стиль не выходит из моды уже несколько столетий От королевы Виктории до Джона Кеннеди: почему яхтенный стиль не выходит из моды уже несколько столетий

Как тельняшкам и другим атрибутам морского стиля удалось пережить шторм времени

Forbes
Кузина королевы и бунтарка: удивительные факты о матерях Миддлтон и Маркл Кузина королевы и бунтарка: удивительные факты о матерях Миддлтон и Маркл

О Кэрол Миддлтон и Дории Рэгланд очень мало что известно широкой общественности

Cosmopolitan
#glam_youtube: Аня Pokrov #glam_youtube: Аня Pokrov

Самая негрустная ведущая новостей о жизни блогеров

Glamour
Анна Плетнева: «Я пробовала стать Анна Плетнева: «Я пробовала стать

Анна Плетнева порассуждала о сексуальности, истинном предназначении и музыке

Cosmopolitan
Древнюю ДНК возбудителя чумы нашли на средневековых кладбищах Англии Древнюю ДНК возбудителя чумы нашли на средневековых кладбищах Англии

Археологи проанализировали захоронения времен чумной пандемии XIV века

N+1
«Левиафан» по косточкам: почему для режиссера Андрея Звягинцева не существует случайностей «Левиафан» по косточкам: почему для режиссера Андрея Звягинцева не существует случайностей

Несколько кадров из «Левиафана» с пояснениями и ответами Звягинцева

Forbes
Роман с французом: я дала отношениям второй шанс и не ошиблась Роман с французом: я дала отношениям второй шанс и не ошиблась

Романтичная и волнующая история отношений на расстоянии

Psychologies
Зураб Джапаридзе. Я был тенью Баталова Зураб Джапаридзе. Я был тенью Баталова

Зураб Джапаридзе о наследстве Алексея Баталова

Коллекция. Караван историй
Открыт ранее неизвестный вид необычных змеехвосток родом из юрского периода Открыт ранее неизвестный вид необычных змеехвосток родом из юрского периода

Ученый открыл новый вид зубастых восьмируких змеехвосток

Популярная механика
Открыть в приложении