«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

#инструктаж: как побороть стресс и тревогу этой осенью #инструктаж: как побороть стресс и тревогу этой осенью

Шесть простых практик, которые помогут отвлечься от тревожных мыслей

РБК
Вам со льдом или без? Вам со льдом или без?

Евгений Гришковец рассказал о своих отношениях с океаном, путешествиями и детьми

Men’s Health
Как худели после родов Кейт Миддлтон, Меган Маркл и другие любимицы британцев Как худели после родов Кейт Миддлтон, Меган Маркл и другие любимицы британцев

Монаршие особы педантично относятся к своему рациону, особенно после родов

Cosmopolitan
Насилие отчима и опасные роды: личные драмы «Красотки» Джулии Робертс Насилие отчима и опасные роды: личные драмы «Красотки» Джулии Робертс

Голливудская звезда Джулия Робертс преодолела многие сложности

Cosmopolitan
Ранненеолитическое поселение Кёртик-тепе назвали крупным центром развития духовной культуры Ранненеолитическое поселение Кёртик-тепе назвали крупным центром развития духовной культуры

Артефакты с богатым орнаментом нашли при раскопках в Юго-Восточной Анатолии

N+1
Как это часто не совпадает… Как это часто не совпадает…

Можно ли ужиться вместе людям, у которых разные привычки и увлечения?

Лиза
Звезда в иллюминаторе: как выглядит Солнце с каждой из планет Солнечной системы Звезда в иллюминаторе: как выглядит Солнце с каждой из планет Солнечной системы

Похоже, мы, земляне, еще неплохо устроились

Вокруг света
От Афродиты до Мэрилин: как менялись идеалы женской красоты От Афродиты до Мэрилин: как менялись идеалы женской красоты

Идеалы женской красоты в разные эпохи

Cosmopolitan
Слиятельные люди Слиятельные люди

Кто все еще делает бизнес на умирающем российском рынке M&A

Forbes
Ледопады, шахты, панты: что посмотреть и попробовать на Таймыре Ледопады, шахты, панты: что посмотреть и попробовать на Таймыре

Отправляемся в Норильск и на полуостров Таймыр

РБК
Евгений Водолазкин о пластиковых бутылках в Средневековье, хронофагах и ДиКаприо Евгений Водолазкин о пластиковых бутылках в Средневековье, хронофагах и ДиКаприо

Евгений Водолазкин – об экранизации своего романа, времени и хронофагах

Cosmopolitan
Женский орден на мужской груди Женский орден на мужской груди

Система орденов Российской империи отличалась от советского времени и наших дней

Дилетант
Топ-5 инфекций, которые легко подхватить летом Топ-5 инфекций, которые легко подхватить летом

Летний сезон – горячая пора для кишечных инфекций

Лиза
Дамские романы: как две сестры создали компанию стоимостью $225 млн, придумывая мобильные игры «для девочек» Дамские романы: как две сестры создали компанию стоимостью $225 млн, придумывая мобильные игры «для девочек»

Как ставка на женскую аудиторию помогла сестрам Накадзима заработать $141,5 млн

Forbes
Три мужа и роды после 40 лет: как живет последняя любовь Владислава Листьева Три мужа и роды после 40 лет: как живет последняя любовь Владислава Листьева

Счастье Владислава Листьева и его жены Альбины Назимовой продлилось четыре года

Cosmopolitan
Поисковый отряд: каким получился трекер Apple AirTag Поисковый отряд: каким получился трекер Apple AirTag

Forbes протестировал AirTag: почему это важный, но неидеальный девайс

Forbes
10 советских фильмов, которые надо показать иностранцу или пришельцу 10 советских фильмов, которые надо показать иностранцу или пришельцу

Фильмы, которые покажут и расскажут, как жилось советскому человеку

Maxim
Почему по ночам нас будит чувство голода? Почему по ночам нас будит чувство голода?

Разбираемся, почему людям хочется есть по ночам и что с этим делать

Psychologies
Чем Китай поможет Северной Корее в случае новой войны Чем Китай поможет Северной Корее в случае новой войны

Китайские народные добровольцы снова готовы воевать с врагами КНДР

Эксперт
Синдром долгого горевания: почему вдовы не налаживают личную жизнь Синдром долгого горевания: почему вдовы не налаживают личную жизнь

Почему, пережив утрату, женщины не вступают в новые отношения?

Psychologies
«Журавлиная родина» скворцов: где и зачем в России построили многоэтажное общежитие для певчих птиц «Журавлиная родина» скворцов: где и зачем в России построили многоэтажное общежитие для певчих птиц

На что способны скворцы, живущие в специальном общежитии для певчих птиц

Вокруг света
Конец Запорожской Сечи Конец Запорожской Сечи

Самостоятельность казаков приносила империи слишком много проблем

Дилетант
Лучшие книги для мужчин, которые решили взять быка за рога Лучшие книги для мужчин, которые решили взять быка за рога

Книги, которые превратят застенчивого юношу в уверенного в себе мужчину

Популярная механика
Уроки на экваторе Уроки на экваторе

Месяц в деревне в Кении глазами волонтера-учительницы из России

Вокруг света
Как выглядят жены звезд фильма «Союз спасения»: Петренко, Матвеева и других Как выглядят жены звезд фильма «Союз спасения»: Петренко, Матвеева и других

Актеры фильма о декабристах «Союз спасения» в жизни обрели семейное счастье

Cosmopolitan
«Нытик и тряпка»: снимаем стигму вокруг мужчин в психотерапии после скандального интервью принца Гарри Опре Уинфри «Нытик и тряпка»: снимаем стигму вокруг мужчин в психотерапии после скандального интервью принца Гарри Опре Уинфри

11 причин, почему тебе стоит перестать думать, что «психология — лженаука»

Playboy
Возлюбленные «Сватов»: как выглядят муж Анны Кошмал, жена Даниила Белых и другие Возлюбленные «Сватов»: как выглядят муж Анны Кошмал, жена Даниила Белых и другие

Как выглядят избранники знаменитостей из «Сватов»

Cosmopolitan
Кем был и кто есть для нас Виктор Цой Кем был и кто есть для нас Виктор Цой

Лидер «Кино» был рок-иконой, жившей в России

GQ
«Мама была права» и еще 8 фраз, которые не стоит говорить мужчине «Мама была права» и еще 8 фраз, которые не стоит говорить мужчине

Манипулятивные фразы, которые нельзя говорить людям, которыми ты дорожишь

Cosmopolitan
Лови момент! 10 лайфхаков для фото с вечеринки Лови момент! 10 лайфхаков для фото с вечеринки

Лучшие фотографии – неожиданные

Cosmopolitan
Открыть в приложении