«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кит Харингтон: «Я ужасно боялся рождения сына» Кит Харингтон: «Я ужасно боялся рождения сына»

Кит Харингтон: жизнь — «штука с закавыкой»

Psychologies
5 стоящих книг о науке сна, которые вам стоит прочесть 5 стоящих книг о науке сна, которые вам стоит прочесть

Полноценный сон — один из главных факторов здоровой и счастливой жизни

Популярная механика
Клетка для выгула детей и еще 4 очень странные ретрофотографии Клетка для выгула детей и еще 4 очень странные ретрофотографии

Подборка из пяти ретрофотографий, на которых происходит что-то странное

Maxim
Взгляд изнутри: 5 книг для тех, кто готов посмотреть на мировую историю без розовых очков Взгляд изнутри: 5 книг для тех, кто готов посмотреть на мировую историю без розовых очков

Книги, которые помогут трезво посмотреть на исторические события

Популярная механика
Матери больше любят сыновей, а отцы — дочерей: правда ли это? Матери больше любят сыновей, а отцы — дочерей: правда ли это?

Сыновья становятся любимыми детьми матерей, а дочери — отцов, так ли это?

Psychologies
«Хандра хуже холеры»: 7 советов для самоизоляции от русских классиков «Хандра хуже холеры»: 7 советов для самоизоляции от русских классиков

Поэты и писатели подскажут, как пережить непростые времена

Культура.РФ
От Мирославы Карпович и Нюши до звезды шоу «Холостяк»! Все девушки Егора Крида От Мирославы Карпович и Нюши до звезды шоу «Холостяк»! Все девушки Егора Крида

Музыкант Егор Крид известен своими романами с популярными красавицами

Cosmopolitan
Всё портят: фитнес-браслеты мешают спать и вредят здоровью Всё портят: фитнес-браслеты мешают спать и вредят здоровью

Контроль за сном может вызвать ортосомнию, или одержимость здоровым сном

Cosmopolitan
Девушка с «Плотинки». Писательница Анна Матвеева — о лете со старого снимка Девушка с «Плотинки». Писательница Анна Матвеева — о лете со старого снимка

На старой фотографии Свердловск, сирень и пальто как часть юности и целой эпохи

РБК
Слушать кино: плей-лист режиссера Happy End Сангаджиева Слушать кино: плей-лист режиссера Happy End Сангаджиева

В плей-листе режиссера сериала Happy End — начинающие артисты и Алла Пугачева

Esquire
Первая помощь при разрыве отношений Первая помощь при разрыве отношений

Вашей пары больше нет — как примириться с новой реальностью и жить дальше?

Psychologies
Как Шайа Лабаф легализовал стиль бездомного Как Шайа Лабаф легализовал стиль бездомного

Почему Шайа Лабаф стал если не великим актером, то королем непринужденного стиля

РБК
5 способов избавиться от зависти 5 способов избавиться от зависти

Что поможет меньше концентрироваться на успехах других людей?

Psychologies
Умные часы и оптогенетика нормализовали показатели глюкозы у мышей с диабетом Умные часы и оптогенетика нормализовали показатели глюкозы у мышей с диабетом

Ученые разработали клетки, способствующие выработке пептида-1

N+1
Соленый кофе, пластиковый торт, никаких подарков: как проходят турецкие свадьбы Соленый кофе, пластиковый торт, никаких подарков: как проходят турецкие свадьбы

Красная фата, цветочные венки, соленый кофе: традиции турецкой свадьбы

Cosmopolitan
Инструмент, а не «бумажка». Зачем и когда вам стоит изменить оргструктуру компании Инструмент, а не «бумажка». Зачем и когда вам стоит изменить оргструктуру компании

Как использовать оргструктуру на полную мощность

Inc.
Как сложились судьбы групп «Фабрики звезд»: «Корни», «Челси», «Тутси» и другие Как сложились судьбы групп «Фабрики звезд»: «Корни», «Челси», «Тутси» и другие

Как сейчас живут группы «Фабрики звезд»?

Cosmopolitan
Не сердце, а дофамин: почему мы влюбляемся в неподходящих людей Не сердце, а дофамин: почему мы влюбляемся в неподходящих людей

Почему мы влюбляемся в тех, с кем отношения точно не сложатся?

Cosmopolitan
«Я услышала, что Гитлер зарвался»: очевидцы вспоминают начало войны «Я услышала, что Гитлер зарвался»: очевидцы вспоминают начало войны

Каким запомнили 1941 год дети войны? Какие эмоции сопровождали их летом?

Psychologies
Удивительная история о мужской дружбе Удивительная история о мужской дружбе

Похожие проблемы могут стать почвой для дружбы совершенно разных людей

СНОБ
Измены, разводы, тяжелые роды: личные драмы всех невесток Елизаветы II Измены, разводы, тяжелые роды: личные драмы всех невесток Елизаветы II

Как сложилась судьба невесток Елизаветы II?

Cosmopolitan
От свайпа до свадьбы От свайпа до свадьбы

Эксперт: как правильно составить анкету в Tinder

Men’s Health
Самосбывающееся проклятие: почему слухи о конце эпохи низкой инфляции в США сильно преувеличены Самосбывающееся проклятие: почему слухи о конце эпохи низкой инфляции в США сильно преувеличены

Все чаще можно услышать, будто рост цен в США выходит из-под контроля

Forbes
Палеогенетики секвенировали ДНК из курганов катакомбной культуры в Калмыкии Палеогенетики секвенировали ДНК из курганов катакомбной культуры в Калмыкии

Группу курганов в Калмыкии оставили кочевники-скотоводы

N+1
Белых аистов привлек запах свежескошенной травы Белых аистов привлек запах свежескошенной травы

Использование обоняния при поиске пищи зафиксировано у аистов впервые

N+1
Точно нужно: советы промышленных экспортеров Точно нужно: советы промышленных экспортеров

Что нужно промышленникам для успешного экспорта своей продукции?

Forbes
Спортивная конечная: как легкоатлетка Дарья Клишина преодолела болезнь и завоевала серебро чемпионата мира Спортивная конечная: как легкоатлетка Дарья Клишина преодолела болезнь и завоевала серебро чемпионата мира

Отрывок из из автобиографии Дарьи Клишиной «Прыжок вверх»

Forbes
Что такое «легкая»‎ и «тяжелая»‎ вода Что такое «легкая»‎ и «тяжелая»‎ вода

Как маркетологи продают нам целебную «легкую» воду и пугают страшной «тяжелой»

Популярная механика
20 признаков того, что у вас с ним ничего не получится 20 признаков того, что у вас с ним ничего не получится

Как ведут себя мужчины, не имеющие на девушку серьезных планов.

Cosmopolitan
Действительно ли питьевая вода содержит женские гормоны, стероиды и лекарства и как уберечь себя от этого Действительно ли питьевая вода содержит женские гормоны, стероиды и лекарства и как уберечь себя от этого

Откуда берутся в воде продукты фарминдустрии и как защититься от них?

Популярная механика
Открыть в приложении