«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Шойгу рассказал об обстоятельствах гибели подводников Шойгу рассказал об обстоятельствах гибели подводников

Погибшие подводники после возникновения пожара задраили люки

Forbes
Когда научная фантастика предсказала будущее, а когда ей этого не удалось Когда научная фантастика предсказала будущее, а когда ей этого не удалось

Множество идей из фантастических романов так и остались на их страницах

Популярная механика
Денис Шевченко Денис Шевченко

Денис Шевченко, основатель бренда GATE31, стал миллионером в тридцать лет

Собака.ru
История старинных загадок История старинных загадок

Загадки возникли еще в те времена, когда древний человек постигал мир

Культура.РФ
10 советских фильмов, которые надо показать иностранцу или пришельцу 10 советских фильмов, которые надо показать иностранцу или пришельцу

Фильмы, которые покажут и расскажут, как жилось советскому человеку

Maxim
Гламурная Хлои Кардашьян: горячие фото звезды реалити-шоу и бизнесвумен Гламурная Хлои Кардашьян: горячие фото звезды реалити-шоу и бизнесвумен

Рассказ о жизни звезды реалити-шоу «Семейство Кардашьян»

Playboy
Изнасилование, разводы и выкидыши: драмы легендарной актрисы Мэрилин Монро Изнасилование, разводы и выкидыши: драмы легендарной актрисы Мэрилин Монро

Мэрилин Монро прожила короткую, но очень насыщенную жизнь

Cosmopolitan
10 книг о любви, в которых хочется затеряться 10 книг о любви, в которых хочется затеряться

В каждой из этих книг - удивительная история любви

Cosmopolitan
Повод для вызова Повод для вызова

Прямая речь актрисы и режиссера Светланы Устиновой

OK!
Детская матрица. Зачем власти нужен «белый интернет» для школьников Детская матрица. Зачем власти нужен «белый интернет» для школьников

Попытки создания социальных матриц пока что не увенчались успехом

СНОБ
Секреты многодетных звезд: как худеют Виктория Бекхэм, Деми Мур и другие мамы Секреты многодетных звезд: как худеют Виктория Бекхэм, Деми Мур и другие мамы

Звездные мамы рассказали, как быстро привести себя в форму.

Cosmopolitan
Берег мечты Берег мечты

Из нью-йоркской квартиры в дом у самого океана

AD
Они бессмертны! Топ народных секретов красоты, которые помогут тебе и сегодня Они бессмертны! Топ народных секретов красоты, которые помогут тебе и сегодня

«Бабушкины» секреты по-прежнему актуальны

Cosmopolitan
Даже на 100 кг! Юмористки, которые очень сильно похудели Даже на 100 кг! Юмористки, которые очень сильно похудели

Некоторые звезды комедии сильно худеют. Причем до неузнаваемости!

Cosmopolitan
Идеи для продуктивных людей от человека, который полгода писал про продуктивность Идеи для продуктивных людей от человека, который полгода писал про продуктивность

Пять правил продуктивности, которые изменят повседневный подход к работе

VC.RU
Робохимику поручили проверку гипотез о зарождении жизни Робохимику поручили проверку гипотез о зарождении жизни

Химики создали робота, который может самостоятельно проводить химические реакции

N+1
Как создать идеальное тело: 10 ценных советов от фитнес-блогеров Как создать идеальное тело: 10 ценных советов от фитнес-блогеров

"Золотой совет", который поможет в борьбе за идеальное тело

VOICE
5 способов разнообразить лето в городе 5 способов разнообразить лето в городе

Чем заняться летом в городе, чтобы остались теплые воспоминания?

Psychologies
Как не попасть впросак на чужой свадьбе: 5 вещей, которые не стоит надевать Как не попасть впросак на чужой свадьбе: 5 вещей, которые не стоит надевать

Какой одежды стоит остерегаться, собираясь на свадьбу в качестве гостя

VOICE
Любимые женщины и мужчины звезд сериала «Доктор Хаус»: Лори, Уайлд и других Любимые женщины и мужчины звезд сериала «Доктор Хаус»: Лори, Уайлд и других

Как сложилась личная жизнь актеров сериала «Доктор Хаус»

Cosmopolitan
Надо ли пользоваться солнцезащитными средствами в городе? Надо ли пользоваться солнцезащитными средствами в городе?

Чем отличается состав дневных, пляжных и мейкап-продуктов с SPF?

Psychologies
Быстрые свидания Быстрые свидания

Португальская красавица Филипа Энрик любит прокатиться с ветерком

Playboy
Кладбище, медведь и кабачковая икра: Александр Генис о путешествиях автостопом. Рассказ из сборника «Без очереди» Кладбище, медведь и кабачковая икра: Александр Генис о путешествиях автостопом. Рассказ из сборника «Без очереди»

Отрывок из рассказа Александра Гениса «Попутчик»

СНОБ
«Не знаю, как быть дальше»: 22 вещи, которые можно сделать прямо сейчас «Не знаю, как быть дальше»: 22 вещи, которые можно сделать прямо сейчас

Простые советы, которые помогут двигаться дальше

Psychologies
«Значит, ураган» Максима Семеляка: проза снаружи всех измерений «Значит, ураган» Максима Семеляка: проза снаружи всех измерений

«Значит, ураган» — биография, или серия эссе, или роман о Егоре Летове

РБК
Я хочу знать о тебе все: когда начали чипировать людей Я хочу знать о тебе все: когда начали чипировать людей

С каких пор люди активно пытаются чипировать друг друга

Популярная механика
Самые красивые венчальные платья звездных россиянок: Макеевой, Костенко и других Самые красивые венчальные платья звездных россиянок: Макеевой, Костенко и других

Валерия и другие красотки в свой особенный день выглядели неотразимо

Cosmopolitan
Это мешает тебе выглядеть роскошно! 10 признаков неухоженных волос Это мешает тебе выглядеть роскошно! 10 признаков неухоженных волос

Признаки неухоженных волос

VOICE
Челюстной замок оказался эффективным средством похудения Челюстной замок оказался эффективным средством похудения

Новое устройство для похудения позволяет питаться только жидкой пищей

N+1
Клиповое мышление: глобальная трансформация человека Клиповое мышление: глобальная трансформация человека

Чем же отличаются «люди экрана» от «людей книги»?

Популярная механика
Открыть в приложении