«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Пять способов саморазрушения, которым нас научили в детстве Пять способов саморазрушения, которым нас научили в детстве

Какие проблемы возникают во взрослом возрасте из-за травмирующего воспитания?

Psychologies
Как провести отпуск в стиле slow life, где главное — еда Как провести отпуск в стиле slow life, где главное — еда

Сегодня еда становится самоцелью и причиной посетить тот или иной регион

РБК
«Ты слишком хороша для меня» — что на самом деле значит эта фраза? «Ты слишком хороша для меня» — что на самом деле значит эта фраза?

Что делать, если вы сами считаете себя недостойным любимого человека?

Psychologies
Археологи назвали похлебку основным блюдом в меню средневековых датских лепрозориев Археологи назвали похлебку основным блюдом в меню средневековых датских лепрозориев

Ученые исследовали останки больных лепрой из учреждений XIII–XVI веков

N+1
Светлое будущее без плана и сметы: что скрывается за типичной российской стройкой Светлое будущее без плана и сметы: что скрывается за типичной российской стройкой

Как в авралах больших архитектурных проектах отражается российская власть

Forbes
Скелет человека в кандалах указал на рабство в римской Британии Скелет человека в кандалах указал на рабство в римской Британии

В римской Британии также процветало рабство

N+1
Спасательница Малибу Спасательница Малибу

Евгения Вашингтон показала, что такое быть собой вдали от городской суеты

Playboy
Токс-шоу Токс-шоу

Порой в отпуске больше всего хочется отдохнуть не от работы, а от коллег

Cosmopolitan
Инженерные решения: в чем современная авиация превзошла природу Инженерные решения: в чем современная авиация превзошла природу

Иногда мы заимствуем инженерные решения у природы, иногда идём своим путём

Популярная механика
Вне закона: 6 организмов, которые не должны существовать Вне закона: 6 организмов, которые не должны существовать

Эти организмы нарушают законы физики и биологии

Вокруг света
Как интеллектуальная выносливость может изменить карьеру Как интеллектуальная выносливость может изменить карьеру

Как тренировать интеллектуальную выносливость

Популярная механика
Эмма Стоун: «Сыграть антигероя намного сложнее, чем какую-то милую девочку» Эмма Стоун: «Сыграть антигероя намного сложнее, чем какую-то милую девочку»

Эмма Стоун — о Круэлле и работе с животными

Cosmopolitan
Прожектор перестройки Прожектор перестройки

Что мешает российской экономике расти?

Forbes
Одними губами Одними губами

Поцелуи – важный маркер отношений в паре

Cosmopolitan
Ленинградский клон «ZX Spectrum» — главный домашний компьютер 1990-х Ленинградский клон «ZX Spectrum» — главный домашний компьютер 1990-х

Какими были первые домашние компьютеры в СССР?

Популярная механика
Доставайте носовые платки: наши любимые ромкомы из 90-х Доставайте носовые платки: наши любимые ромкомы из 90-х

Самое время пересмотреть любимые ромкомы и поностальгировать!

Cosmopolitan
«Отпечатки» в дипфейках выдали параметры работы создавших их нейросетей «Отпечатки» в дипфейках выдали параметры работы создавших их нейросетей

Этоn алгоритм можно использовать для отслеживания злоумышленников в сети

N+1
Гламурная Хлои Кардашьян: горячие фото звезды реалити-шоу и бизнесвумен Гламурная Хлои Кардашьян: горячие фото звезды реалити-шоу и бизнесвумен

Рассказ о жизни звезды реалити-шоу «Семейство Кардашьян»

Playboy
Азбука вкуса Азбука вкуса

Любовь к современному искусству и дизайнерской мебели середины XX века

AD
Минет как долг: что не так с концепцией супружеских обязанностей Минет как долг: что не так с концепцией супружеских обязанностей

Почему секс не может быть обязанностью?

Cosmopolitan
Азарт и блокчейн: как беспроигрышная криптолотерея привлекла $200 млн и оказалась лотереей для одного победителя Азарт и блокчейн: как беспроигрышная криптолотерея привлекла $200 млн и оказалась лотереей для одного победителя

Как устроена криптовалютная беспроигрышная лотерея?

Forbes
Мемуары, недвижимость и пенсия: на чем зарабатывает Камала Харрис Мемуары, недвижимость и пенсия: на чем зарабатывает Камала Харрис

Что еще, кроме работы в правительстве, приносит Камале Харрис доход?

Forbes
Путеводитель по Третьяковской галерее Путеводитель по Третьяковской галерее

Старинные иконы, знаменитые картины и скульптуры мастеров XVIII–ХХ столетий

Культура.РФ
Метиленовый синий предложили использовать в качестве солнцезащитного средства Метиленовый синий предложили использовать в качестве солнцезащитного средства

Метиленовый синий может стать безопасной альтернативой оксибензону

N+1
Маленькие супергерои: 3 семейства насекомых со сверхспособностями Маленькие супергерои: 3 семейства насекомых со сверхспособностями

Насекомые пережили целый ряд катастроф на нашей планете

Вокруг света
Двухсотлетний Тарас Двухсотлетний Тарас

Что не так в гоголевской хронологии истории Тараса Бульбы

Дилетант
7 вещей, которые поймет только сильная женщина 7 вещей, которые поймет только сильная женщина

Самая глупая в мире мысль — это мысль о том, что женщины слабые

Cosmopolitan
Топинамбур-суперфуд Топинамбур-суперфуд

Топинамбур, или земляная груша, переживает сейчас новую волну популярности

Здоровье
Время собирать камни Время собирать камни

Режиссер Тимур Бекмамбетов и его жена Наталия Фишман построили дом на Волге

Tatler
12 популярных фильмов, которые украли сюжет у других фильмов 12 популярных фильмов, которые украли сюжет у других фильмов

Фильмы со скопированными сюжетами, ставшие популярнее первоисточников

Maxim
Открыть в приложении