Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Зачем азиатский профессор создавал вирусы: сумасшедший или спаситель? Зачем азиатский профессор создавал вирусы: сумасшедший или спаситель?

Труды профессора Каваоки наделали много шума во всем мире

Популярная механика
Топ-7 отечественных платформ для блогеров: лучшие альтернативы запрещенных соцсетей Топ-7 отечественных платформ для блогеров: лучшие альтернативы запрещенных соцсетей

Альтернативы популярным платформам в российском сегменте

CHIP
Как обрезать изображение в Фотошопе: инструменты на выбор Как обрезать изображение в Фотошопе: инструменты на выбор

Инструкция, как скадрировать объект на изображении в Photoshop

CHIP
Возвращение нулевых на экраны: новый сериал «The Телки» Возвращение нулевых на экраны: новый сериал «The Телки»

«The Телки»: приметы нулевых возвращаются не только в моду, но и на экраны

СНОБ
Пассивный доход: как создать надежный источник дохода без активных усилий Пассивный доход: как создать надежный источник дохода без активных усилий

С помощью каких инструментов создать высокий уровень пассивного дохода?

Forbes
Посмотри на себя Посмотри на себя

Как помочь ребенку принять себя?

Домашний Очаг
В плену у индейцев: тайна женщины с татуировкой на лице В плену у индейцев: тайна женщины с татуировкой на лице

Эта история произошла в 1851 году с девочкой по имени Олив Оатман

VOICE
Образы, рецепты и прогулки по лесу: 9 книг в подарок Образы, рецепты и прогулки по лесу: 9 книг в подарок

Какие издания книг особенно приятно дарить и получать

РБК
Как строить платонические отношения: 7 правил Как строить платонические отношения: 7 правил

Какие способы построения платонических отношений — самые надежные?

Psychologies
Как мультики помогают говорить с детьми на сложные темы Как мультики помогают говорить с детьми на сложные темы

Как поддерживающая анимация помогает детям не бояться болезни

СНОБ
Был ли знаменитый танк «Тигр» действительно таким великим? Был ли знаменитый танк «Тигр» действительно таким великим?

Стоил ли танк «Тигр» затраченных на него ресурсов и денег?

Популярная механика
4 упражнения, чтобы определить приоритеты 4 упражнения, чтобы определить приоритеты

Научитесь определять, в чем вы нуждаетесь

Psychologies
Что будет с человечеством, если частица Солнца упадет на Землю: сценарий худшего конца света Что будет с человечеством, если частица Солнца упадет на Землю: сценарий худшего конца света

Что произойдет, если ученым удастся телепортировать на Землю кусочек Солнца?

ТехИнсайдер
Мужская берлога Мужская берлога

Усадьба с экстерьером в скандинавском стиле и удивительной планировкой

Идеи Вашего Дома
Что мы знаем о новой избраннице Берлускони — ради нее он бросил красавицу-модель Что мы знаем о новой избраннице Берлускони — ради нее он бросил красавицу-модель

Попытаемся побольше узнать об избраннице любвеобильного Сильвио Берлускони

Cosmopolitan
Как строить планы в ситуации неопределенности? Как строить планы в ситуации неопределенности?

Планирование помогает обрести уверенность в завтрашнем дне

Psychologies
Стефан Цвейг. «Когда ты получишь это письмо, мне уже будет лучше» Стефан Цвейг. «Когда ты получишь это письмо, мне уже будет лучше»

История трагической гибели Стефана Цвейга

СНОБ
На вас напала стая бездомных собак: что важно знать и как себя вести — полезная памятка На вас напала стая бездомных собак: что важно знать и как себя вести — полезная памятка

Почему бродяги набрасываются на людей и что делать, если на вас напали?

Популярная механика
Город с видом на Арарат: каким был задуман Ереван 100 лет назад Город с видом на Арарат: каким был задуман Ереван 100 лет назад

Книга «Ереван. Биография города» журналиста и писателя Марка Григоряна

Forbes
Новая дисциплина Новая дисциплина

Чемпионка мира, чемпионка Европы, призер Олимпийских игр – Евгения Медведева

Maxim
Восточное звучание Восточное звучание

При оформлении интерьера этого дома дизайнеру пришлось решать множество проблем

Идеи Вашего Дома
Как понять, что вы несчастливы в браке: 10 признаков Как понять, что вы несчастливы в браке: 10 признаков

Большинство пар слишком поздно замечает, что их брак дал трещину

Psychologies
36 лучших цитат об изменениях, которые помогут тебе двигаться вперед 36 лучших цитат об изменениях, которые помогут тебе двигаться вперед

Что бы ты ни делала, все твои труды будут вознаграждены, а цели - достигнуты

Cosmopolitan
«Я все равно буду счастлива!»: история Зинаиды Михайловны Туснолобовой-Марченко, которая без рук и ног прошла вoйну «Я все равно буду счастлива!»: история Зинаиды Михайловны Туснолобовой-Марченко, которая без рук и ног прошла вoйну

Ее жизнь — это настоящая летопись борьбы с тем, что невозможно победить

Популярная механика
В режиме ожидания В режиме ожидания

Часто разница между тем, как родители любят и как это проявляют, колоссальна

Psychologies
5 диких традиций, калечащих женщин в разные времена 5 диких традиций, калечащих женщин в разные времена

Бинты, дамское седло, пояс верности и другие традиции, которые калечили женщин

Популярная механика
Как восстановить удаленные сообщения ВКонтакте? Как восстановить удаленные сообщения ВКонтакте?

Gростые методы восстановления удаленных сообщений в VK

CHIP
10 умнейших пород собак: как выбрать лучшего питомца 10 умнейших пород собак: как выбрать лучшего питомца

Если обучаемые собаки – норма, то обучаемые хозяева – большая редкость

ТехИнсайдер
Худеть помогает глюкометр! Худеть помогает глюкометр!

Существует ли универсальный принцип питания, который подойдет всем?

Здоровье
Пищевое поведение Пищевое поведение

Отделяем правду в вопросах еды и выясняем, какие добавки действительно безвредны

Grazia
Открыть в приложении