Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

В чем мать родила: 11 легендарных «голых» фотосессий звезд — от Джоли до Лопес В чем мать родила: 11 легендарных «голых» фотосессий звезд — от Джоли до Лопес

Самые знаменитые обнаженные фотосессии звезд

Cosmopolitan
Пора вмешаться Пора вмешаться

К каким пластическим хирургам стоит записаться за самым актуальным преображением

Собака.ru
Николай Фоменко: самые смешные правила жизни Николай Фоменко: самые смешные правила жизни

Фантастической энергии человек Николай Фоменко

Maxim
«Русское дворянство времен Александра I» «Русское дворянство времен Александра I»

Какими были отношения царя и правящего класса империи

N+1
Квантовая жидкость кристаллизовалась при нагревании Квантовая жидкость кристаллизовалась при нагревании

Европейские физики обнаружили необычный эффект квантовой жидкости

N+1
Алиса Боха Алиса Боха

Как одеть всю страну в оверсайз-худи и сделать коллабы со всеми?

Собака.ru
Особенный ребенок Особенный ребенок

Как на ранних стадиях распознать, что с ребенком что-то не так

Лиза
Зонотрихии отключили чувствительные к магнитному полю нейроны на время отдыха в период миграции Зонотрихии отключили чувствительные к магнитному полю нейроны на время отдыха в период миграции

Нейроны птиц, реагирующие на магнитное поле, активны только во время миграции

N+1
Tiny Bro из рода Tiguan. Тест-драйв Volkswagen Taos AWD 2023 года Tiny Bro из рода Tiguan. Тест-драйв Volkswagen Taos AWD 2023 года

Мы наконец-то получили шанс протестировать Volkswagen Taos AWD 2023 года

4x4 Club
PandaX не нашла электромагнитно взаимодействующую темную материю PandaX не нашла электромагнитно взаимодействующую темную материю

Для поиска темной материи физики упрятали четыре тонны жидкого ксенона под гору

N+1
Обновление классики: к 5 языкам любви добавились еще два Обновление классики: к 5 языкам любви добавились еще два

Как выразить любовь вашему спутнику?

VOICE
Потерять счет времени в Венёве: что посмотреть и чем заняться в старинном тульском городе Потерять счет времени в Венёве: что посмотреть и чем заняться в старинном тульском городе

Экскурсия на день по родине лихого гусара поручика Ржевского и булочки «Венёвки»

Вокруг света
Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии Волшебное сокровище? Небольшой клад с тысячелетними монетами нашли в лесу Италии

Расследование выявило 175 римских монет возрастом 2000 лет

ТехИнсайдер
Рак, разводы и изнасилования: страшные судьбы актрис из сериала Рак, разводы и изнасилования: страшные судьбы актрис из сериала

Как сложились жизни актрис из "Зачарованных", и как они выглядят сейчас?

VOICE
Поразительные паразиты Поразительные паразиты

Есть в паразитах и своя пугающая красота: они изящно манипулируют хозяевами

ТехИнсайдер
«Собрания мыслепреступников»: уже несколько лет в Нью-Йорке каждый месяц проходят закрытые встречи клуба пострадавших от «культуры отмены» «Собрания мыслепреступников»: уже несколько лет в Нью-Йорке каждый месяц проходят закрытые встречи клуба пострадавших от «культуры отмены»

Что происходит в стенах «Собраний мыслепреступников»?

Правила жизни
Научиться дозировать Научиться дозировать

Есть способы преодолеть переедание, а заодно и усталость (и нелюбовь к себе)

Psychologies
«Миссис Дэвис»: фантастический сериал про борьбу монахини с искусственным интеллектом «Миссис Дэвис»: фантастический сериал про борьбу монахини с искусственным интеллектом

Каким получился сериал «Миссис Дэвис»

Forbes
«Я играю стерву. Любите ее и ненавидьте!»: Мария Горбань раскрыла секреты сериала «Звездный суд» «Я играю стерву. Любите ее и ненавидьте!»: Мария Горбань раскрыла секреты сериала «Звездный суд»

Мария Горбань сыграла вместе с Максимом Лагашкиным в комедийном сериале

VOICE
Йоу-йоу, сноубординг, дискета. О байопике «Кто убил BlackBerry» Мэтта Джонсона Йоу-йоу, сноубординг, дискета. О байопике «Кто убил BlackBerry» Мэтта Джонсона

Чем «Кто убил BlackBerry» выделяется из массы однотипных байопиков

СНОБ
Транзитная зона: как устроена жизнь в мангровом лесу Транзитная зона: как устроена жизнь в мангровом лесу

Здесь а обитатели моря стоят перед выбором — какую из двух сред предпочесть

Вокруг света
Язык любовных прелюдий Язык любовных прелюдий

Предварительные ласки нужны только женщинам, а мужчины без них могут обойтись?

Psychologies
В плюсе: как спортсмены-«зимники» заработали больше из-за изоляции В плюсе: как спортсмены-«зимники» заработали больше из-за изоляции

Несмотря на отстранение от турниров, многие спортсмены стали больше зарабатывать

Forbes
«Муж дал мне по голове»: беременная Милена Дейнега перенесла 9 секунд клинической смерти «Муж дал мне по голове»: беременная Милена Дейнега перенесла 9 секунд клинической смерти

Милена Дейнега призналась, что едва не погибла после семейного скандала

VOICE
Холестериновая бомба: когда в России появился бекон и как он стал таким популярным Холестериновая бомба: когда в России появился бекон и как он стал таким популярным

Производство бекона на территории России куда выгоднее, чем импорт из-за границы

Forbes
Эпоха светлого: кто и когда впервые приготовил лагер — самое популярное пиво в мире? Эпоха светлого: кто и когда впервые приготовил лагер — самое популярное пиво в мире?

Как конкуренция двух пивных регионов Европы дала начало известному напитку

Вокруг света
«Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии «Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии

Тру-крайм «Мерзлая земля» основан на реальных событиях в Хакасии

Forbes
12 крутейших игр, в которые играли все, кто родился в СССР 12 крутейших игр, в которые играли все, кто родился в СССР

Некоторые игры нашего детства мы как-то успели подзабыть. А ведь это был восторг

Maxim
«Мой дед расстрелял бы меня»: воспоминания внучки коменданта концлагеря Амона Гёта «Мой дед расстрелял бы меня»: воспоминания внучки коменданта концлагеря Амона Гёта

Глава из книги «Мой дед расстрелял бы меня» Дженнифер Тиге

Forbes
Инструктаж от стилиста: как выбрать платье на лето, чтобы спрятать животик Инструктаж от стилиста: как выбрать платье на лето, чтобы спрятать животик

Фасоны платьев, в которых ты будешь чувствовать себя отлично и уверенно

VOICE
Открыть в приложении