Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Конаковская ГРЭС: титан советской энергетики Конаковская ГРЭС: титан советской энергетики

Конаковская ГРЭС издали выглядит как большой трехмачтовый корабль

Популярная механика
Чистка лица по типу кожи: какую лучше выбрать Чистка лица по типу кожи: какую лучше выбрать

Подробный гид о том, какую чистку лица лучше выбрать

VOICE
Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах

10 самых распространенных мифов об электронных устройствах

Maxim
Главный козырь пулемета Гатлинга: дождь из свинца Главный козырь пулемета Гатлинга: дождь из свинца

Многоствольные пушки называли органами или рибодекенами

ТехИнсайдер
Дела сердечные: как современный ритм жизни влияет на риск возникновения инфаркта Дела сердечные: как современный ритм жизни влияет на риск возникновения инфаркта

Какие привычки бьют по сердцу сильнее наследственности?

Правила жизни
Непослушные старшие Непослушные старшие

Порой мы становимся для старших словно чужими. Как распутать клубок непонимания?

Psychologies
Сказка об утраченных глаголах, или Как торопиться, да не оторопеть Сказка об утраченных глаголах, или Как торопиться, да не оторопеть

Понять, как в сочетании слов проговаривается нечто большее

Наука и жизнь
Андердог Apple: что вы не знали о Стиве Возняке? Андердог Apple: что вы не знали о Стиве Возняке?

Стив Возняк: пранкер и гик!

Популярная механика
Почему Сахара — далеко не самая большая пустыня на Земле Почему Сахара — далеко не самая большая пустыня на Земле

Мы привыкли думать, что огромный океан песка. Однако, это не так

ТехИнсайдер
Ольга Науменко. Три жизни Ольга Науменко. Три жизни

Ольга Науменко — о своей карьере актрисы и непростой семейной жизни

Коллекция. Караван историй
Коричневые пауки-отшельники: интересные факты об этом невероятно опасном членистоногом Коричневые пауки-отшельники: интересные факты об этом невероятно опасном членистоногом

Как распознать этот опасный вид пауков, и что делать, если вас все же укусили

Популярная механика
Стоит ли принимать душ каждый день или это опасно: ответ дерматологов Стоит ли принимать душ каждый день или это опасно: ответ дерматологов

Дерматологи рекомендуют мыться 2 раза в неделю — вы в шоке? Мы тоже!

Популярная механика
15 фильмов о дружбе для тех, кто хочет побороть одиночество 15 фильмов о дружбе для тех, кто хочет побороть одиночество

Подборка фильмов, которая поможет вам справиться с одиночеством

Psychologies
Судебный роман Судебный роман

Один из самых знаменитых романов XIX века открывается посвящением адвокату

Дилетант
Ремонт без бюджета: 6 лайфхаков от дизайнера Ремонт без бюджета: 6 лайфхаков от дизайнера

Как преобразить квартиру без последствий для кошелька и нервов

Популярная механика
В поиске красоты В поиске красоты

Один из тех «резных сундуков темных палаццо, полных непостижимых сокровищ»

Seasons of life
Катастрофа в космосе: история корабля, который приземлился удачно, а космонавты не выжили Катастрофа в космосе: история корабля, который приземлился удачно, а космонавты не выжили

Экипаж «Союза-11» был в шаге от завершения полёта, но что-то пошло не так

Популярная механика
Как очистить Айфон перед продажей: подробная инструкция Как очистить Айфон перед продажей: подробная инструкция

Как правильно удалить данные с Айфона перед продажей?

CHIP
Как быстро упаковать вещи: 10 лайфхаков для экстренного переезда Как быстро упаковать вещи: 10 лайфхаков для экстренного переезда

Возьми себя в руки и продумай переезд

Playboy
«Ползут, чтоб вновь родиться в Вифлееме»: заглавное эссе из книги Джоан Дидион, звезды американской «Ползут, чтоб вновь родиться в Вифлееме»: заглавное эссе из книги Джоан Дидион, звезды американской

Книга «Ползут, чтоб вновь родиться в Вифлееме» Джоан Дидион

Esquire
Первые годы после Великой Отечественной: как люди справлялись с трудностями Первые годы после Великой Отечественной: как люди справлялись с трудностями

Несмотря на разруху, голод и преступность, люди были полны надежд

Cosmopolitan
«Управляйте стрессом»: как облегчить свое состояние «Управляйте стрессом»: как облегчить свое состояние

Как справиться со стрессом и начать жить?

Psychologies
На всю жизнь! Звездные стрижки, которые хорошо смотрятся в любом возрасте На всю жизнь! Звездные стрижки, которые хорошо смотрятся в любом возрасте

Какие стрижки будут актуальны и в 20, и в 50+ лет

VOICE
Второй раз, но навсегда: история любви Фёдора Бондарчука и Паулины Андреевой Второй раз, но навсегда: история любви Фёдора Бондарчука и Паулины Андреевой

Невероятная и полная тайн историю любви Паулины Андреевой и Фёдора Бондарчука

VOICE
Мультипликатор Антон Дьяков: Анимация может быть яркой, хлесткой, борзой Мультипликатор Антон Дьяков: Анимация может быть яркой, хлесткой, борзой

Интервью с мультипликатором Антоном Дьяковым

СНОБ
Побег из теплицы Побег из теплицы

Почему вставать на сторону ребенка нужно не всегда

Maxim
Когда рушится мир: как быстро привести себя в порядок в невыносимой ситуации Когда рушится мир: как быстро привести себя в порядок в невыносимой ситуации

Внутри многих из нас разворачивается психологический кризис с приступами паники

Forbes
Цвет настроения Цвет настроения

Интерьер, тяготеющий к американской классике с разными оттенками синего

Идеи Вашего Дома
Переделкино Переделкино

Я оставила свою семью, обязанности, быт, чтобы поселиться в лесу и писать текст

Seasons of life
Дело не в тебе Дело не в тебе

Что сделать, чтобы развод родителей не травмировал ребенка?

Лиза
Открыть в приложении