«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Маяки Маяки

Маяки — это про добро и надежду

Seasons of life
Стыдно признаться: Алина Фаркаш про стереотипы о Стыдно признаться: Алина Фаркаш про стереотипы о

Можно не любить котиков и фильмы Вуди Аллена, но признаваться в этом нельзя!

Cosmopolitan
Карен Кавалерян: Карен Кавалерян:

Карен Кавалерян — о том, как живется авторам популярных песен

Караван историй
Это мешает тебе выглядеть роскошно! 10 признаков неухоженных волос Это мешает тебе выглядеть роскошно! 10 признаков неухоженных волос

Признаки неухоженных волос

VOICE
Назад в будущее: как приложение Prequel обрабатывает и меняет мир Назад в будущее: как приложение Prequel обрабатывает и меняет мир

Казалось бы: кого можно удивить набором фильтров в 2021-м году?

Популярная механика
Спорт хозяйствующих субъектов Спорт хозяйствующих субъектов

НБА – это индустрия развлечений; такой же феномен поп-культуры, как Marvel

Esquire
«Я отношу себя к феминисткам». Отрывок из книги Ольги Нечаевой «Женщина с Марса» «Я отношу себя к феминисткам». Отрывок из книги Ольги Нечаевой «Женщина с Марса»

Глава «Мой личный феминизм» из новой книги Ольги Нечаевой

СНОБ
Белый, который не полнит: как правильно носить самый коварный цвет в одежде Белый, который не полнит: как правильно носить самый коварный цвет в одежде

Как правильно носить белые вещи

VOICE
«Лихие девяностые» нашего будущего. Почему спор о «выборах Ельцина» может закончиться только после ухода Путина «Лихие девяностые» нашего будущего. Почему спор о «выборах Ельцина» может закончиться только после ухода Путина

Российское общество не может жить без вождей, потому что не верит в свои силы

СНОБ
Диетолог Виктории Бэкхем: Диетолог Виктории Бэкхем:

Основные принципы составления меню: как похудеть и помолодеть

Cosmopolitan
9 признаков того, что партнеру можно доверять 9 признаков того, что партнеру можно доверять

Доверяете ли вы своему партнеру?

Psychologies
Новый взгляд на свёклу и мангольд Новый взгляд на свёклу и мангольд

Столовая свёкла признана одной из самых полезных овощных культур

Наука и жизнь
5 мифов о женском оргазме 5 мифов о женском оргазме

Мифы об оргазме

Psychologies
Шатуш своими руками: пошаговая инструкция Шатуш своими руками: пошаговая инструкция

Инструкция, как сделать окрашивание шатуш в домашних условиях

Cosmopolitan
Подземные дворцы и не только: самые красивые в мире станции метро Подземные дворцы и не только: самые красивые в мире станции метро

В разных частях света можно найти невероятные в своем убранстве станции метро

Вокруг света
Бывший глава израильского «Яндекса» построил робота, который красит ногти дома Бывший глава израильского «Яндекса» построил робота, который красит ногти дома

Омри Моран придумал робота, который делает маникюр, после испорченного свидания

VC.RU
Как пережить измену: 9 советов, которые помогут Как пережить измену: 9 советов, которые помогут

Как пережить тот самый страшный момент, когда ты узнала об измене

VOICE
Победивший голод: как Победивший голод: как

Лунпин Юань – ученый, спасший десятки миллионов жизней

Популярная механика
Кросс-платформенная разработка мобильных приложений: в чем плюсы для бизнеса Кросс-платформенная разработка мобильных приложений: в чем плюсы для бизнеса

Преимущества работы с кросс-платформенными технологиями

Популярная механика
Продли удовольствие! Какой маникюр будет хорошо смотреться и через месяц Продли удовольствие! Какой маникюр будет хорошо смотреться и через месяц

Дизайн, который продлит жизнь твоего маникюра

Cosmopolitan
Женский орден на мужской груди Женский орден на мужской груди

Система орденов Российской империи отличалась от советского времени и наших дней

Дилетант
Татарка Татарка

Блогер Ира Смелая заявила о себе треками под ником Татарка

Собака.ru
Водитель каршеринга получил штраф 300 000 на ровном месте. Что случилось? Водитель каршеринга получил штраф 300 000 на ровном месте. Что случилось?

Девушке пришел штраф на 300 тысяч рублей за парковку каршеринга на газоне

РБК
Что такое наркозависимость и как защитить от нее близких Что такое наркозависимость и как защитить от нее близких

Что такое наркомания в современном мире и как спасти от нее близких

РБК
Главные правила при выборе аксессуаров на лето 2021 (последний штрих, и ты — плейбой) Главные правила при выборе аксессуаров на лето 2021 (последний штрих, и ты — плейбой)

Аксессуары, которые ты обязательно захочешь включить во все свои луки

Playboy
Женщин растят «удобными». Быть счастливыми мы учимся сами Женщин растят «удобными». Быть счастливыми мы учимся сами

Многих из нас когда-то спрятали в скорлупу «хорошей девочки»

Psychologies
Как создать собственную игру Как создать собственную игру

Создать собственную игру — голубая мечта многих геймеров

Популярная механика
Барби-футбол, танк и мертвый жеребенок — самые нелепые  покупки звезд Барби-футбол, танк и мертвый жеребенок — самые нелепые  покупки звезд

Самых нелепые, шокирующие и, конечно, дорогие покупки знаменитостей

VOICE
На все сто На все сто

Сто мест для интересного и необычного отпуска в России

Cosmopolitan
Доступ к капиталу без дискриминации: как женщины поддерживают новый бизнес в Пуэрто-Рико Доступ к капиталу без дискриминации: как женщины поддерживают новый бизнес в Пуэрто-Рико

Как Нерма Альберторио стремится к гендерному равенству в экономике Пуэрто-Рико

Forbes
Открыть в приложении