«Зелибоба» — генератор текстов от Яндекса

N+1Hi-Tech

Яндекс разработал языковую модель для генерации текстов

Григорий Копиев

Яндекс

Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях.

В последние несколько лет в области алгоритмов обработки естественного языка произошел заметный прогресс, связанный с несколькими факторами. Во многом это связано с разработанной в 2017 году исследователями из Google архитектурой нейросетей, называемой Transformer. Наиболее известна архитектура Transformer по семейству нейросетевых моделей GPT, разработанных OpenAI. Начиная с модели GPT-2 качество создания текста стало настолько высоким, что разработчики, опасаясь использования его для недобросовестных целей, решили не выкладывать в общий доступ полную модель, ограничившись упрощенной.

Качество создаваемого текста в нейросетях этого типа зависит от разных факторов, во многом от количества используемых в сети параметров. В GPT-2 их было полтора миллиарда, а в GPT-3, представленной в прошлом году, уже 175 миллиардов, что позволило после обучения всего на нескольких примерах выполнять задачи по работе с текстом разного типа, в том числе писать стихи, отвечать

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тайны вкуса Тайны вкуса

У каждого человека есть собственные вкусовые предпочтения

Здоровье
Завезенные на австралийский остров тасманийские дьяволы погубили колонию пингвинов Завезенные на австралийский остров тасманийские дьяволы погубили колонию пингвинов

Попытка защитить один вид от вымирания привела к проблемам для других

N+1
Кирилл Рихтер: «Мне нравится жить в мире звуков» Кирилл Рихтер: «Мне нравится жить в мире звуков»

Кирилл Рихтер – о музыке, социофобии и садах на крыше

Cosmopolitan
На космических задворках: есть ли жизнь на краю Галактики На космических задворках: есть ли жизнь на краю Галактики

Жизнь способна зародиться почти в любой точке Галактики

Forbes
Брат, братан, братишка Брат, братан, братишка

Илья, Андрей и Сергей Сафроновы о братской дружбе и любви к иллюзиям

Men’s Health
Как одежда и внешняя атрибутика влияют на уровень дохода Как одежда и внешняя атрибутика влияют на уровень дохода

Разбираемся, действительно ли уверенность человека зависит от его костюма

GQ
Вернись, я все прощу! На что знаки зодиака готовы пойти ради любви Вернись, я все прощу! На что знаки зодиака готовы пойти ради любви

На что твой милый готов пойти ради любви

VOICE
Родина русского стиля. Музеи и мастерские Иваново и Палеха Родина русского стиля. Музеи и мастерские Иваново и Палеха

Резные ставни, яркий ситец и интерьеры «итальянского палаццо» в Иваново

Seasons of life
По имени солнце По имени солнце

Не так страшен загар, как отсутствие защиты кожи от солнца

Лиза
Тренировки ЭМС: как обрести рельеф, не тратя время на фитнес Тренировки ЭМС: как обрести рельеф, не тратя время на фитнес

Тренировки по технологии ЭМС (электромиостимуляции) – что это такое?

Cosmopolitan
«Жизнь сложнее таблички в Excel»: в чём суть движения FIRE и можно ли в России выйти на пенсию в 35 лет «Жизнь сложнее таблички в Excel»: в чём суть движения FIRE и можно ли в России выйти на пенсию в 35 лет

Как работает стратегия финансовой независимости и раннего выхода на пенсию

VC.RU
Дерзкие дети: исправить, но не сломать Дерзкие дети: исправить, но не сломать

Что делать, если ваш ребенок считает себя умнее всех и не признает авторитетов?

Psychologies
«Нам нужны фильмы о людях, которые следуют своим мечтам»: интервью с режиссером фильма «Маржела: своими словами» Райнером Хольцемером «Нам нужны фильмы о людях, которые следуют своим мечтам»: интервью с режиссером фильма «Маржела: своими словами» Райнером Хольцемером

Режиссер Райнер Хольцемер: каково это — снимать фильмы о моде в мире

Esquire
Основатель PayPal скопил $5 млрд на необлагаемом налогами пенсионном счете Основатель PayPal скопил $5 млрд на необлагаемом налогами пенсионном счете

Питер Тиль держит на своем индивидуальном пенсионном счете $5 млрд

Forbes
7 вещей, которые поймет только сильная женщина 7 вещей, которые поймет только сильная женщина

Самая глупая в мире мысль — это мысль о том, что женщины слабые

Cosmopolitan
«Все художницы стоят меньше, чем один Пикассо»: почему женщины отказываются быть музами и становятся творцами «Все художницы стоят меньше, чем один Пикассо»: почему женщины отказываются быть музами и становятся творцами

Дискуссия с женщинами из арт-мира о том, как состояться в искусстве

Forbes
На Саяно-Шушенскую ГЭС — за рулем полноприводного кроссовера Skoda Karoq. Тест-драйв На Саяно-Шушенскую ГЭС — за рулем полноприводного кроссовера Skoda Karoq. Тест-драйв

Полный привод — не единственное новшество Skoda Karoq

СНОБ
Маша Белик Маша Белик

Дизайнер Маша Белик. Ее платья носят Юля Снигирь и Софья Эрнст

Собака.ru
Прожить сто счастливых лет: как сформировать здоровые привычки за 12 дней Прожить сто счастливых лет: как сформировать здоровые привычки за 12 дней

Отрывок из книги практикующего врача-эндокринолога Кати Янг «Марафон столетия»

Forbes
Максим Левченко Максим Левченко

Максим Левченко открыл в коммуналке Иосифа Бродского музей «Полторы комнаты»

Собака.ru
Что говорит о тебе твое рукопожатие Что говорит о тебе твое рукопожатие

Ученые поговорили с мужскими рукопожатиями и выделили пять их типов

Maxim
Лолита и компания: фильмы об отношениях с большой разницей в возрасте Лолита и компания: фильмы об отношениях с большой разницей в возрасте

Чему могут научить фильмы об отношениях с разницей в возрасте

Cosmopolitan
Кем был и кто есть для нас Виктор Цой Кем был и кто есть для нас Виктор Цой

Лидер «Кино» был рок-иконой, жившей в России

GQ
Гремучая смесь: самое удивительное животное Австралии Гремучая смесь: самое удивительное животное Австралии

Млекопитающее, птица или рептилия?

Вокруг света
Сверхзвуковые флейты Гефеста Сверхзвуковые флейты Гефеста

Чем вулканы похожи на реактивные двигатели

Наука
Лайфхаки от водителя, который проехал на одной машине больше 5 миллионов километров Лайфхаки от водителя, который проехал на одной машине больше 5 миллионов километров

Ирв Гордон — главный дальнобойщик планеты

Maxim
Научный подход к счастью: 5 книг, которым можно доверять Научный подход к счастью: 5 книг, которым можно доверять

Книги, в которых счастье рассматривается с научной точки зрения

Популярная механика
Спортивное питание и стресс: почему может нарушаться менструальный цикл Спортивное питание и стресс: почему может нарушаться менструальный цикл

О чем говорит нарушение цикла и что делать, если ты тоже с ним столкнулась

Cosmopolitan
Фильмы, которые нужно слушать, а не смотреть: лучшие саундтреки лент с изъяном Фильмы, которые нужно слушать, а не смотреть: лучшие саундтреки лент с изъяном

Фильмы, которые можно смотреть с закрытыми глазами

СНОБ
Как беспилотники помогают в 3D-моделировании Как беспилотники помогают в 3D-моделировании

Какую пользу принесли беспилотники для промышленности в части 3D-моделирования

Популярная механика
Открыть в приложении