«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ешь, двигайся, спи Ешь, двигайся, спи

Как повседневные решения влияют на здоровье и долголетие

kiozk originals
«Нас не испугал диагноз»: история мамы детей с особенностями развития «Нас не испугал диагноз»: история мамы детей с особенностями развития

История семьи, которая воспитывает детей с особенностями развития

Cosmopolitan
Общение, из которого рождается истина Общение, из которого рождается истина

Самое крупное событие научного мира, которое объединяет математиков всего мира

Наука
15 привычек продуктивных людей 15 привычек продуктивных людей

Привычки, которые помогут всегда оставаться продуктивными и активными

Psychologies
Что такое «легкая»‎ и «тяжелая»‎ вода Что такое «легкая»‎ и «тяжелая»‎ вода

Как маркетологи продают нам целебную «легкую» воду и пугают страшной «тяжелой»

Популярная механика
Как бразильский триатлонист подсадил американцев на снэки из некондиционных бананов Как бразильский триатлонист подсадил американцев на снэки из некондиционных бананов

Коу Суплиси — 42-летний основатель компании Barnana, расположенной в Сан-Диего

Inc.
Почему мужчины рискуют больше и чаще женщин Почему мужчины рискуют больше и чаще женщин

Как связаны между собой активность головного мозга и склонность к риску

Популярная механика
10 самых запоминающихся моментов за всю историю «Премии МУЗ-ТВ» 10 самых запоминающихся моментов за всю историю «Премии МУЗ-ТВ»

Самые казусные и скандальные ситуации на «Премии МУЗ-ТВ»

Cosmopolitan
5 фильмов, где известных актеров никто не узнал 5 фильмов, где известных актеров никто не узнал

Вот что грим животворящий делает!

Maxim
Пять опасных насекомых Пять опасных насекомых

Летом насекомые могут стать причиной серьёзных проблем

Здоровье
Мария Ивакова: «Мне не нравится тренд, из-за которого все выглядят одинаково» Мария Ивакова: «Мне не нравится тренд, из-за которого все выглядят одинаково»

Мария Ивакова — как справляется с джетлагом и сохраняет стройность

Cosmopolitan
От Афродиты до Мэрилин: как менялись идеалы женской красоты От Афродиты до Мэрилин: как менялись идеалы женской красоты

Идеалы женской красоты в разные эпохи

Cosmopolitan
Пляжный «букет» Пляжный «букет»

Как себя обезопасить во время пляжного отдыха?

Лиза
Европейские дизайнеры — о том, как создать ресторан в здании с историей Европейские дизайнеры — о том, как создать ресторан в здании с историей

Четыре знаковых дизайнерских ресторана в Париже, Нанси, Венеции и Лондоне

РБК
Знание продается за деньги Знание продается за деньги

Как заказать и оплатить учебную работу – от курсовой до кандидатской диссертации

Наука
Время собирать камни Время собирать камни

Режиссер Тимур Бекмамбетов и его жена Наталия Фишман построили дом на Волге

Tatler
Архивировать себя. Как цифровые аватары сделают нас бессмертными Архивировать себя. Как цифровые аватары сделают нас бессмертными

Какими бывают виртуальные копии и как они меняют понятие человечности

СНОБ
Кто такие «дети индиго» и куда они пропали? Кто такие «дети индиго» и куда они пропали?

Срываем покровы с самой главной загадки 2000-х

Maxim
«Наука Шерлока Холмса: методы знаменитого сыщика в расследовании преступлений прошлого и настоящего». Отрывок из книги Стюарт Росс «Наука Шерлока Холмса: методы знаменитого сыщика в расследовании преступлений прошлого и настоящего». Отрывок из книги Стюарт Росс

Отрывок из книги Стюарта Росса: как научные знания помогают в расследованиях

СНОБ
Для тех, кто спит в рабочий полдень. 6 громких фактов о знаменитом полуденном выстреле в Санкт-Петербурге Для тех, кто спит в рабочий полдень. 6 громких фактов о знаменитом полуденном выстреле в Санкт-Петербурге

Пушки с крепости палят, всем часы сверять велят

Maxim
Высокая температура с похмелья: возможные причины и способы облегчить состояние Высокая температура с похмелья: возможные причины и способы облегчить состояние

Что делать, если похмелье сопровождается температурой, и как прийти в себя

Playboy
Китайские ученые разработали белок для защиты нейронов при инсульте Китайские ученые разработали белок для защиты нейронов при инсульте

Ученые разработали белок Tat-CIRP, который защищает нейроны при инсульте

N+1
Понимай язык тела: когда тебя обманывают, а когда хотят очаровать Понимай язык тела: когда тебя обманывают, а когда хотят очаровать

Мы даже не представляем, что человек пытается сообщить, когда чешет затылок

Maxim
Взгляд изнутри: 5 книг для тех, кто готов посмотреть на мировую историю без розовых очков Взгляд изнутри: 5 книг для тех, кто готов посмотреть на мировую историю без розовых очков

Книги, которые помогут трезво посмотреть на исторические события

Популярная механика
Ископаемого «хозяина реки» назвали крупнейшим крокодилом Австралии Ископаемого «хозяина реки» назвали крупнейшим крокодилом Австралии

Первый гавиаловый крокодил из Австралии

N+1
Новый Остап Бендер в кино: Арам Вардеванян о своем герое и работе с Безруковым Новый Остап Бендер в кино: Арам Вардеванян о своем герое и работе с Безруковым

Арам Вардеванян — о кастинге на роль Остапа Бендера и будущих проектах

Cosmopolitan
«Наша внутренняя обезьяна: Двойственная природа человека» «Наша внутренняя обезьяна: Двойственная природа человека»

Насколько эмпатичны животные?

N+1
Разгадки природы Разгадки природы

Семь чудесных тайн природы, которые перестали быть тайнами

Maxim
Стоит ли устраивать разгрузочные дни. Мнение врача Стоит ли устраивать разгрузочные дни. Мнение врача

Изучаем нюансы проведения разгрузочных дней

РБК
Муравьи-рабовладельцы утратили значительную часть генов обоняния и вкуса Муравьи-рабовладельцы утратили значительную часть генов обоняния и вкуса

Геном муравьев-рабовладельцев изменился из-за упрощения их социальной жизни

N+1
Открыть в приложении