Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как кошке сбросить вес: вот как вы можете помочь питомцу похудеть Как кошке сбросить вес: вот как вы можете помочь питомцу похудеть

Толстые котики — это мило, но и им надо худеть

Популярная механика
Краткая история немецкого искусства XX века Краткая история немецкого искусства XX века

Как Немецкие художники выступали против войны и фашизма и дорого за это платили

Weekend
Дипфейк и верификация видео: как не стать жертвой обмана Дипфейк и верификация видео: как не стать жертвой обмана

Как обезопасить себя от дипфейков и мошеннических видео

Правила жизни
Многоразовые кофе-капсулы: стоит ли использовать? Многоразовые кофе-капсулы: стоит ли использовать?

Разбираемся в преимуществах и недостатках многоразовых кофе-капсул

CHIP
Почему мы тянем время, даже когда знаем, что надо уйти? О токсичных отношениях и ловушках сознания Почему мы тянем время, даже когда знаем, что надо уйти? О токсичных отношениях и ловушках сознания

Почему же так сложно выйти из замкнутого круга токсичных отношений?

VOICE
Судебный роман Судебный роман

Один из самых знаменитых романов XIX века открывается посвящением адвокату

Дилетант
Лимонов и Нью-Йорк. 1975–1980 Лимонов и Нью-Йорк. 1975–1980

Лимонов переживает нервный срыв, пишет «Эдичку» и работает слугой миллиардера

Esquire
Беспилотники смогут разминировать минные поля с высоты птичьего полета Беспилотники смогут разминировать минные поля с высоты птичьего полета

Как дроны помогают саперам, облегчая опасную работу по устранению мин

Популярная механика
Как Web 3.0 перевернет интернет и отправит нас в метавселенные Как Web 3.0 перевернет интернет и отправит нас в метавселенные

Почему новый интернет будет совсем не похож на тот, который мы знаем?

Популярная механика
Тяжелый легкий бег Тяжелый легкий бег

Как работает организм на марафонских дистанциях

Популярная механика
Ольга Шмитт: «Уезжайте!» Как Олега Целкова вынудили уехать за границу Ольга Шмитт: «Уезжайте!» Как Олега Целкова вынудили уехать за границу

Отрывок из книги Ольги Шмидт Suprême Soviète

СНОБ
Настоящие британские джентльмены: какими получились новые модели Bentley Настоящие британские джентльмены: какими получились новые модели Bentley

Компания Bentley представила публике сразу три новых модели

РБК
Путь на Олимп Путь на Олимп

Как возродилась древняя традиция Олимпийских игр

Вокруг света
Талант можно пропить: 10 гениев, которые страдали алкоголизмом Талант можно пропить: 10 гениев, которые страдали алкоголизмом

Люди, которые внесли огромный вклад в историю, но страдали от алкоголизма

ТехИнсайдер
Как формируются социальные связи подростков — отрывок из книги Лидии Денворт Как формируются социальные связи подростков — отрывок из книги Лидии Денворт

Биологические, психологические и эволюционные основы социальных связей

СНОБ
Шато Внутренняя Монголия. Как Китай становится винной державой Шато Внутренняя Монголия. Как Китай становится винной державой

Как разбираться в китайском вине

СНОБ
Известняк для Венеры Виллендорфской добыли в Северной Италии Известняк для Венеры Виллендорфской добыли в Северной Италии

Ученые исследовали палеолитический артефакт, найденный более ста лет назад

N+1
Из жертвы в бунтарку-феминистку: кто заставил принцесс эволюционировать Из жертвы в бунтарку-феминистку: кто заставил принцесс эволюционировать

Как меняются принцессы Disney?

Cosmopolitan
3500 км по Индии: Без карты. Без путеводителя. На трех колесах 3500 км по Индии: Без карты. Без путеводителя. На трех колесах

О незабываемых приключениях в Индии от первого лица

Playboy
Что чувствует адвокат, защищая виновного? Рассказ юриста Что чувствует адвокат, защищая виновного? Рассказ юриста

Вокруг адвокатской деятельности немало мифов

Psychologies
Планетологи заподозрили кометное происхождение астероида Рюгу Планетологи заподозрили кометное происхождение астероида Рюгу

Планетологи проверили теорию о кометном происхождении астероида Рюгу

N+1
Существует ли метеозависимость на самом деле? Мнение ученых Существует ли метеозависимость на самом деле? Мнение ученых

Метеозависимость: правда или миф

VOICE
Такая, какая есть Такая, какая есть

Совет «Просто быть собой» хорош хотя бы потому, что ему легко следовать

Cosmopolitan
15 шагов к уверенности: как преодолеть застенчивость 15 шагов к уверенности: как преодолеть застенчивость

Человек своими действиями способен помочь себе преодолеть чувство самоуничижения

Psychologies
6 крутых функций Telegram, о которых вы не знали 6 крутых функций Telegram, о которых вы не знали

Малоизвестные функции Telegram, которые могут вас удивить

Популярная механика
10 классных функций Telegram, о которых ты не знала 10 классных функций Telegram, о которых ты не знала

Самые классные функции Telegram, которые ты точно оценишь

Cosmopolitan
О новом фильме Любы Аркус «Колокольня. Реквием», посвященном Алексею Балабанову О новом фильме Любы Аркус «Колокольня. Реквием», посвященном Алексею Балабанову

Фильма Любови Аркус «Колокольня. Реквием».

СНОБ
Диета при холецистите Диета при холецистите

Как питаться при воспалении желчного пузыря

Лиза
7 приложений, которые помогут обезопасить ваших детей: обзор 7 приложений, которые помогут обезопасить ваших детей: обзор

Лучшие приложения родительского контроля для ваших детей

Популярная механика
Как и зачем Disney купила Marvel — сделка глазами легендарного CEO Боба Айгера Как и зачем Disney купила Marvel — сделка глазами легендарного CEO Боба Айгера

Отрывок из книги «Умение предвидеть» легендарного CEO Боба Айгера

Forbes
Открыть в приложении