Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Классика Миядзаки, киберпанк и исторические драмы: 7 лучших полнометражных аниме Классика Миядзаки, киберпанк и исторические драмы: 7 лучших полнометражных аниме

Полнометражные аниме, которые точно стоит посмотреть любителям Японии

Forbes
К чему идет Sanlorenzo? К чему идет Sanlorenzo?

Как найти способ развиваться, не утрачивая прибыльность компании?

Y Magazine
Искусство жить не напрягаясь: несколько правил французской эффективности Искусство жить не напрягаясь: несколько правил французской эффективности

Отрывок из книги «Французское искусство жить не напрягаясь»

Forbes
Что такое плазмолифтинг и как его проводят Что такое плазмолифтинг и как его проводят

Как работает плазмолифтинг и в чем его отличие от других бьюти-процедур?

РБК
Сколько градусов в кефире, кумысе, квасе и безалкогольном пиве Сколько градусов в кефире, кумысе, квасе и безалкогольном пиве

Сколько надо выпить невинных напитков, чтобы получился эквивалент рюмки водки?

Maxim
7 приложений для сна, которые помогут высыпаться лучше 7 приложений для сна, которые помогут высыпаться лучше

Попробуйте скачать одно из этих приложений, чтобы сон стал более эффективным

CHIP
Режиссер Егор Перегудов: Театр проходит циклы своего развития и умирает Режиссер Егор Перегудов: Театр проходит циклы своего развития и умирает

О преодолении кризиса и проблеме режиссерских лабораторий

СНОБ
«Май, декабрь»: хулиганский рассказ о женском противостоянии с Натали Портман и Джулианной Мур «Май, декабрь»: хулиганский рассказ о женском противостоянии с Натали Портман и Джулианной Мур

Каким получился фильм режиссера Тодда Хейнса «Май, декабрь»

Правила жизни
Синдром «пустого костюма»: почему традиционный карьерный рост подходит не всем Синдром «пустого костюма»: почему традиционный карьерный рост подходит не всем

Почему опасно игнорировать модели современного лидерства?

Forbes
Подвеска евразийки Подвеска евразийки

Как из костяного украшения вытащили ДНК его владелицы

N+1
«Сам никакой связи со своим поколением я не чувствую» «Сам никакой связи со своим поколением я не чувствую»

Только на вторых пробах я почувствовал, что герой во мне рисуется и рождается

OK!
Вылетаем сегодня! Почему мы совершаем незапланированные поездки? Объясняют ученые Вылетаем сегодня! Почему мы совершаем незапланированные поездки? Объясняют ученые

Социологи рассказали, как влияют на нас спонтанные траты

Вокруг света
Срочно удали! 8 вещей, которые испортят любой кадр — секреты профессионального фотографа Срочно удали! 8 вещей, которые испортят любой кадр — секреты профессионального фотографа

Разбираемся с главными ошибками, которые портят 90% снимков

VOICE
Устремленные в небо: посмотрите на 10 самых высоких памятников в России Устремленные в небо: посмотрите на 10 самых высоких памятников в России

10 самых высоких памятников нашей страны

Вокруг света
Защитный барьер организма Защитный барьер организма

Надо повышать иммунитет. Но медики поспорили бы с такой формулировкой

Лиза
Скайнет в эпоху киберпанка: книга о сверхразуме, написанная в соавторстве с ИИ Скайнет в эпоху киберпанка: книга о сверхразуме, написанная в соавторстве с ИИ

Отрывок из книги «Скайнет в эпоху киберпанка»

Forbes
Правила жизни Тины Тернер Правила жизни Тины Тернер

Правила жизни королевы рок-н-ролла Тины Тернер

Правила жизни
5 сокровищ Шри-Ланки 5 сокровищ Шри-Ланки

Впечатления от отдыха на Шри-Ланке превзойдут все самые смелые мечты

Лиза
Самореализация: как найти смысл и делать то, что нравится Самореализация: как найти смысл и делать то, что нравится

Что мешает нам найти свое призвание и как обойти эти препятствия?

Psychologies
Слишком много боли: что с ней делать после расставания? Слишком много боли: что с ней делать после расставания?

После несчастной любви как после первого посещения спортзала

VOICE
IBM хочет построить квантовый компьютер объемом 100 000 кубит IBM хочет построить квантовый компьютер объемом 100 000 кубит

IBM объявила о планах создания квантового компьютера объемом 100 000 кубит

ТехИнсайдер
Дружба с интровертом: на что стоит обратить внимание — 8 принципов Дружба с интровертом: на что стоит обратить внимание — 8 принципов

Чтобы наладить близкое общение с интровертом, достаточно знать несколько фактов

Psychologies
Жизнь сов: почему мы любим ночь Жизнь сов: почему мы любим ночь

Чем привлекает нас романтика темного времени суток?

Psychologies
Морской царь юрского океана был вдвое больше косаток Морской царь юрского океана был вдвое больше косаток

Челюсти этого плиозавра были мощнее, чем у ти-рекса

ТехИнсайдер
На дальней станции сойду На дальней станции сойду

Как и к чему готовят космонавтов

Men Today
«Ты — мой!»: что делать, если вы собственник «Ты — мой!»: что делать, если вы собственник

Как избавиться от собственнического инстинкта и создать доверительные отношения

Psychologies
Почему женщины ненавидят друг друга: 3 причины Почему женщины ненавидят друг друга: 3 причины

Что побуждает женщин соревноваться друг с другом — даже при хороших отношениях?

Psychologies
Великий обломок Великий обломок

Как Фридрих Эрмлер превратил сталинское безумие в величие и потерпел поражение

Weekend
Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри» Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри»

О том, почему возвращение Деппа на экран нельзя назвать удачным

СНОБ
«Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий «Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий

Эта стратегия может оказаться весьма полезной в трудной ситуации

Psychologies
Открыть в приложении