Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

10 простых привычек, которые помогают поднять настроение 10 простых привычек, которые помогают поднять настроение

Настроение поднять очень просто — достаточно знать о том, как работает тело

Популярная механика
Что такое блокчейн: просто о сложной технологии Что такое блокчейн: просто о сложной технологии

Технология блокчейн только на первый взгляд кажется сложной

CHIP
Курсовая работа: как выпускники психфака создали заметную школу data science Курсовая работа: как выпускники психфака создали заметную школу data science

Онлайн-школа karpov.courses начиналась как pet-проект выпускников психфака

Forbes
Как воспитывать мальчиков? Как воспитывать мальчиков?

Что женщина может дать сыну и в какие вопросы ей лучше не встревать

Psychologies
Все фильмы Пон Джун Хо, снявшего «Микки 17» и «Паразиты»: от худшего к лучшему Все фильмы Пон Джун Хо, снявшего «Микки 17» и «Паразиты»: от худшего к лучшему

8 фильмов южнокорейского режиссера, от легких комедий до мощных триллеров

Maxim
Хуже ожирения: 5 признаков, что ты скинни фэт (и как это исправить) Хуже ожирения: 5 признаков, что ты скинни фэт (и как это исправить)

Могут ли внешне худые люди страдать от ожирения?

Cosmopolitan
Разноцветье весеннего сада Разноцветье весеннего сада

Начало цветения самых ранних растений определяется временем схода снега

Наука и жизнь
Побеждает тот, кто хитрее: 9 примеров гениальных военных тактик из мировой истории Побеждает тот, кто хитрее: 9 примеров гениальных военных тактик из мировой истории

Простая истина побеждает не тот, кто сильнее, а тот, кто хитрее

ТехИнсайдер
Актриса Катерина Шпица: «Труд награждается везением» Актриса Катерина Шпица: «Труд награждается везением»

Катерина Шпица рассказала о съемках для TV1000 Русское Кино

Cosmopolitan
Как Мария Трубникова открыла первую благотворительную организацию для женщин Как Мария Трубникова открыла первую благотворительную организацию для женщин

Мария Трубникова посвятила свою жизнь борьбе за гендерное равенство

Forbes
Ошибка с библиотекой msvcp140.dll: как от нее избавиться Ошибка с библиотекой msvcp140.dll: как от нее избавиться

Ошибка библиотеки msvcp140.dll: что это за ошибка, и как ее исправить

CHIP
Был ли знаменитый танк «Тигр» действительно таким великим? Был ли знаменитый танк «Тигр» действительно таким великим?

Стоил ли танк «Тигр» затраченных на него ресурсов и денег?

Популярная механика
Сервис доставки еды Broniboy из Краснодара привлек полмиллиарда рублей Сервис доставки еды Broniboy из Краснодара привлек полмиллиарда рублей

Российский сервис Broniboy привлек 500 млн рублей

Forbes
По наследству: звезды, которым талант и красота достался от знаменитых родителей По наследству: звезды, которым талант и красота достался от знаменитых родителей

Невероятно похожие и талантливые звездные мамы и дочери

Cosmopolitan
Как бороться с депрессией? Как бороться с депрессией?

Как сдвинуться с мертвой точки и преодолеть депрессию?

Psychologies
Что делать, если дверь авто захлопнулась, а ключи остались в салоне Что делать, если дверь авто захлопнулась, а ключи остались в салоне

Как поступить, если вы заперли машину с ключами внутри

ТехИнсайдер
Как справиться с тревожностью. Советы немецкого психолога Бона Леа Шваба Как справиться с тревожностью. Советы немецкого психолога Бона Леа Шваба

Отрывок из книги «Это просто невыносимо» — как побороть тревожность

СНОБ
Деликатный вопрос: что делать, если ты сильно потеешь Деликатный вопрос: что делать, если ты сильно потеешь

Что делать, если дезодорант не помогает?

VOICE
Грязную обувь точно надо оставлять за пределами дома — и вот почему Грязную обувь точно надо оставлять за пределами дома — и вот почему

Насколько страшно ходить в обуви по дому?

Популярная механика
Эксплуатация феминизма: как «Убивая Еву» превратился в скучный сериал о шпионках Эксплуатация феминизма: как «Убивая Еву» превратился в скучный сериал о шпионках

Почему остроумный шпионский сериал превратился в эксплуатацию феминизма

Forbes
Уход от реальности: 7 правил, чтобы потом вернуться Уход от реальности: 7 правил, чтобы потом вернуться

Как правильно дистанцироваться от происходящего и отвлекаться от повестки?

Psychologies
Никто не идеален: что делать, если перфекционизм отравляет жизнь Никто не идеален: что делать, если перфекционизм отравляет жизнь

Как определить перфекционизм и что за ним кроется?

РБК
5 вопросов, чтобы понять причины охлаждения в паре 5 вопросов, чтобы понять причины охлаждения в паре

Почему мы не всегда встречаем у партнера понимание и поддержку?

Psychologies
Карликовая планета Плутон: интересные факты о ледяном небесном теле Карликовая планета Плутон: интересные факты о ледяном небесном теле

Что скрывает Плутон?

Популярная механика
Проси так, чтобы точно сбылось: 10 секретов для исполнения желаний Проси так, чтобы точно сбылось: 10 секретов для исполнения желаний

Мы узнали у эзотерика, как правильно попросить исполнения желания

VOICE
Варвара: «Любовь — ежедневный выбор» Варвара: «Любовь — ежедневный выбор»

Глядя на Варвару, невольно удивляешься: неужели у нее совершенно взрослые дети?

Лиза
Физики разглядели структуру муарового экситона Физики разглядели структуру муарового экситона

Физики ищут путь к созданию новых источников света для квантовых технологий

N+1
Своими руками: 20 инструментов для огорода, которые практически ничего не стоят Своими руками: 20 инструментов для огорода, которые практически ничего не стоят

Как применять с пользой то, что вы обычно выкидываете?

Популярная механика
Как узнать, какой пластик можно перерабатывать: разбираемся в маркировке Как узнать, какой пластик можно перерабатывать: разбираемся в маркировке

Разбираемся в маркировке пластика

Cosmopolitan
Женщины убили всех мужчин: загадочная история преступлений в венгерской деревне Женщины убили всех мужчин: загадочная история преступлений в венгерской деревне

В начале XX века в маленькой венгерской деревушке произошли жуткие события

Cosmopolitan
Открыть в приложении