«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Распилить все поровну Распилить все поровну

Мадагаскар – одна из беднейших стран в мире

Вокруг света
Как сделать лицо чувственным: главные бьюти-секреты принцессы Дианы Как сделать лицо чувственным: главные бьюти-секреты принцессы Дианы

Принцесса Диана пользовалась секретами, которые помогали ей прекрасно выглядеть

Cosmopolitan
Спутник Sentinel-5 по выбросам газа предсказал маленькое извержение вулкана за 40 минут до его начала Спутник Sentinel-5 по выбросам газа предсказал маленькое извержение вулкана за 40 минут до его начала

Перед взрывом вулкан Вакаари утроил выбросы диоксида серы

N+1
4 стиля общения: какой наиболее эффективен? 4 стиля общения: какой наиболее эффективен?

Можно выделить всего четыре стиля коммуникации

Psychologies
Археолог случайно открыл, как наскальные рисунки превращаются в первобытные мультики Археолог случайно открыл, как наскальные рисунки превращаются в первобытные мультики

Долгое время эти изображения считались мутными и непонятными

Maxim
Орден за услуги: какими пикантными нюансами изобилует история развития международных трейдерских компаний Орден за услуги: какими пикантными нюансами изобилует история развития международных трейдерских компаний

Айван Глазенберг и его вклад в укрепление сотрудничества с Российской Федерацией

Forbes
Как не пропустить рак: подробная инструкция от онколога Как не пропустить рак: подробная инструкция от онколога

Онкологию можно предотвратить, если повлиять на эти факторы риска

Cosmopolitan
Вирус гепатита B заперли в клетке из ДНК Вирус гепатита B заперли в клетке из ДНК

Капсулы из молекул ДНК смогут нейтрализовать вирусы размером до 300 нанометров

N+1
«Третий путь». Как подростку с особенностями развития стать частью общества «Третий путь». Как подростку с особенностями развития стать частью общества

Как подросткам с особенностями найти свой путь в общество

СНОБ
5 способов развить интуицию 5 способов развить интуицию

Интуиция есть у всех, и это навык, который можно и нужно развивать

Psychologies
Сококе Сококе

Звери с Ольгой Волковой

Weekend
Временные парадоксы: 10 фильмов, которые взорвут твой мозг Временные парадоксы: 10 фильмов, которые взорвут твой мозг

Увлекательные фильмы о временных петлях и парадоксах — без «Дня сурка»

Cosmopolitan
13 простых способов чувствовать себя лучше, чем вчера 13 простых способов чувствовать себя лучше, чем вчера

Оздоровительные мероприятия, на которые нужно меньше пяти минут

Maxim
Общение, из которого рождается истина Общение, из которого рождается истина

Самое крупное событие научного мира, которое объединяет математиков всего мира

Наука
Кирилл Рихтер: «Мне нравится жить в мире звуков» Кирилл Рихтер: «Мне нравится жить в мире звуков»

Кирилл Рихтер – о музыке, социофобии и садах на крыше

Cosmopolitan
Шея и зона декольте: 5 эффективных советов по уходу Шея и зона декольте: 5 эффективных советов по уходу

Наша программа красоты поможет твоей шее и зоне декольте выглядеть идеально

Cosmopolitan
Смех из машины Смех из машины

Комедия «Жвалы» и ее странный автор

Weekend
Хорошая девочка Хорошая девочка

Анну Котову-Дерябину привыкли видеть в образах взбалмошных блондинок

OK!
Как в 40 выглядеть на 25: бьюти-секреты Равшаны Курковой Как в 40 выглядеть на 25: бьюти-секреты Равшаны Курковой

Равшана Куркова выглядит просто прекрасно – даже и не скажешь, что ей 40 лет!

Cosmopolitan
Покрас Лампас —  о современной культуре, русском искусстве и NFT Покрас Лампас —  о современной культуре, русском искусстве и NFT

Самый обсуждаемый российский каллиграф Покрас Лампас

Esquire
Сколько детей должно быть в семье Сколько детей должно быть в семье

Сколько нужно родить детей для счастья

Cosmopolitan
Не надо работать в Goldman Sachs Не надо работать в Goldman Sachs

Эссе сооснователя Netflix Марка Рэндольфа

Inc.
Мезозой, городские джунгли и челюсти человека: 5 нескучных книг об эволюции Мезозой, городские джунгли и челюсти человека: 5 нескучных книг об эволюции

5 книг, которые помогут посмотреть на естественный отбор с непривычных ракурсов

Популярная механика
5 неожиданных примеров работы, на которую требуются обнаженные девушки 5 неожиданных примеров работы, на которую требуются обнаженные девушки

Натуристы и нудисты в веб-дизайне, клининге и даже психоаналитике

Maxim
Стартап на выбросы: как бывший CEO Reddit привлек $30 млн на восстановление лесов и борьбу с изменениями климата Стартап на выбросы: как бывший CEO Reddit привлек $30 млн на восстановление лесов и борьбу с изменениями климата

Можно ли найти решение по разумной цене, которое позволит поглощать выбросы?

Forbes
Бежевый карандаш для идеальных стрелок и еще 9 полезных лайфхаков визажиста Бежевый карандаш для идеальных стрелок и еще 9 полезных лайфхаков визажиста

Лайфхаки от визажиста, о которых те еще не знаешь

Cosmopolitan
На пороге голодной катастрофы, или Стонет и тяжко страдает русский забитый народ На пороге голодной катастрофы, или Стонет и тяжко страдает русский забитый народ

Борьба советской власти против собственного крестьянина

Наука
Все в твоих руках: 12 правил укладки тонких и длинных волос Все в твоих руках: 12 правил укладки тонких и длинных волос

Тонкие волосы отлично поддаются укладке, если ты держишь в уме эти советы

Cosmopolitan
Если ребенок дерется: инструкция для родителей Если ребенок дерется: инструкция для родителей

Опасна ли детская агрессия или важнее разбираться с последствиями ее выражения?

Psychologies
Успеть всё и даже больше: самые богатые и знаменитые женщины — многодетные мамы Успеть всё и даже больше: самые богатые и знаменитые женщины — многодетные мамы

Успешные многодетные мамы — кто они и чем занимаются?

Cosmopolitan
Открыть в приложении