Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Зеленые защитники Зеленые защитники

Cамые благоприятные комнатные растения по знаку зодиака

Лиза
Зина Портнова: как 15-летняя партизанка убила сотню немецких офицеров и умерла от страшных пыток так никого и не выдав Зина Портнова: как 15-летняя партизанка убила сотню немецких офицеров и умерла от страшных пыток так никого и не выдав

Как пятнадцатилетняя Зина Портнова оказалась в оккупации, но не сдалась

ТехИнсайдер
«Я причинил боль жене и детям»: Арнольд Шварценеггер пожалел об измене Марии Шрайвер с домработницей «Я причинил боль жене и детям»: Арнольд Шварценеггер пожалел об измене Марии Шрайвер с домработницей

Арнольд Шварценеггер до сих пор чувствует вину перед 67-летней бывшей женой

VOICE
«Русь, куда ж несешься ты? Дай ответ»: как художник Анатолий Зверев рисовал Гоголя «Русь, куда ж несешься ты? Дай ответ»: как художник Анатолий Зверев рисовал Гоголя

Отрывок из книги «Анатолий Зверев и мировое искусство»

Forbes
Почем ненависть для народа Почем ненависть для народа

Как Венсан Кассель стал лицом злых улиц и лицом с обложки

Weekend
Скажите Скажите

Такая странная и необычная буква "ы"

ТехИнсайдер
Помните блогера, снявшего обзор на круассаны на фоне протестов в Париже? Теперь он пробует неаполитанскую пиццу во время празднования победы «Наполи» Помните блогера, снявшего обзор на круассаны на фоне протестов в Париже? Теперь он пробует неаполитанскую пиццу во время празднования победы «Наполи»

Итальянский блогер Луи Саль делает необычные видеообзоры на еду

Правила жизни
Бывший муж не хочет общаться с ребенком после развода: как быть? Бывший муж не хочет общаться с ребенком после развода: как быть?

Что делать, если бывший муж отказывается от встреч с ребенком

Psychologies
Спорим, ты не знала, кем был первый мужчина-супермодель — вот как он выглядит сейчас Спорим, ты не знала, кем был первый мужчина-супермодель — вот как он выглядит сейчас

Знакомим тебя с красавцем, которому достался титул первого мужчины-супермодели

VOICE
Музыкальная пауза: истории популярных саундтреков — от Игги Попа до The Streets Музыкальная пауза: истории популярных саундтреков — от Игги Попа до The Streets

О музыке, звучащей у Ромена Киро

Правила жизни
Это пригодится! Лучшие способы очистить матрас от любых пятен Это пригодится! Лучшие способы очистить матрас от любых пятен

У многих хозяек возникает вопрос — как же стирать матрасы?

ТехИнсайдер
Как лучше худеть — быстро или медленно? Эксперты все объяснили! Как лучше худеть — быстро или медленно? Эксперты все объяснили!

У специалистов есть объяснение, почему спешить с похудением не нужно

ТехИнсайдер
Археологи обнаружили в Омане уникальную массовую гробницу 7000-летней давности Археологи обнаружили в Омане уникальную массовую гробницу 7000-летней давности

Группа археологов обнаружила гробницу времен неолита

ТехИнсайдер
Российские сериалы с самыми откровенными сценами Российские сериалы с самыми откровенными сценами

6 самых откровенных российских сериалов

Maxim
Через «долину смерти»: на создание отечественного лекарства от Паркинсона нет денег Через «долину смерти»: на создание отечественного лекарства от Паркинсона нет денег

Препарат «Проттремин» для лечения болезни Паркинсона оказался перспективным

Forbes
Соблазняем одним словом: как сделать свой голос привлекательным? Соблазняем одним словом: как сделать свой голос привлекательным?

Что такое привлекательный голос и как сделать свой голос лучше?

VOICE
Стилист раскрывает карты: 3 простейших приема, которые заставят тебя выглядеть, как фэшн-блогер Стилист раскрывает карты: 3 простейших приема, которые заставят тебя выглядеть, как фэшн-блогер

Самые простые и действенные приемы фэшн-блогеров

VOICE
Третий «лишний»: чем опасно влияние политики и религии на суды Третий «лишний»: чем опасно влияние политики и религии на суды

Личные предпочтения судьи, могут положительно сказаться на качестве правосудия

Forbes
«К свадьбе готовятся лучше, чем к зачатию»: зачем проходить перинатальный скрининг «К свадьбе готовятся лучше, чем к зачатию»: зачем проходить перинатальный скрининг

Александра Краус о том, зачем строить в Москве гостиницу для беременных

Forbes
Отказ от «механики» и личное шоссе. Тина Тёрнер и любовь к машинам Отказ от «механики» и личное шоссе. Тина Тёрнер и любовь к машинам

Главные факты «автомобильной» биографии артистки Тины Тёрнер

РБК
Из России за титулом: как бывшие звезды РПЛ сделали «Наполи» чемпионом Италии Из России за титулом: как бывшие звезды РПЛ сделали «Наполи» чемпионом Италии

Как «Наполи» стал чемпионом Италии по футболу впервые за 33 года

Forbes
Популярность позитивной музыки возросла при потеплении и снизилась в дождь Популярность позитивной музыки возросла при потеплении и снизилась в дождь

Как связаны музыка и погода?

N+1
Главное вовремя начать Главное вовремя начать

Какие протоколы красоты сочетают антиэйдж и превент в одном флаконе

Собака.ru
Изменить жизнь, отказавшись от сахара Изменить жизнь, отказавшись от сахара

К чему может привести отказ от сахара? Рассказывают наши героини

Здоровье
Что нужно знать о легендарном фотографе Ричарде Аведоне Что нужно знать о легендарном фотографе Ричарде Аведоне

Показываем знаковые работы модного фотографа Ричарда Аведоне

Правила жизни
«Красные метки — возможность переговоров»: как Ставрос Ниархос собирал свою коллекцию «Красные метки — возможность переговоров»: как Ставрос Ниархос собирал свою коллекцию

Отрывок из книги «Великие коллекционеры нашего времени. Франция и США»

Forbes
Обновление классики: к 5 языкам любви добавились еще два Обновление классики: к 5 языкам любви добавились еще два

Как выразить любовь вашему спутнику?

VOICE
Почему женщины живут с нарциссами: 4 причины — не занимайтесь самообманом Почему женщины живут с нарциссами: 4 причины — не занимайтесь самообманом

Мы собрали четыре разновидности самообмана партнеров нарциссов

Psychologies
Ничего не делала, но устала: привычки, которые воруют энергию Ничего не делала, но устала: привычки, которые воруют энергию

Куда ушли энергия и силы при объективно нетрудной неделе?

VOICE
Больцман на танцполе Больцман на танцполе

Исследовали ли физики мош? Я вышел в интернет с таким вопросом

N+1
Открыть в приложении