Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как правильно использовать гермоснаряжение: лайфхаки для туристов Как правильно использовать гермоснаряжение: лайфхаки для туристов

При многообразии видов отдыха есть универсальная вещь, которая пригодится везде

Популярная механика
«Все страньше и страньше» «Все страньше и страньше»

Как теория относительности, рок-н-ролл и научная фантастика определили XX век

N+1
Чем гиперзвук отличается от суперзвука: то, что вы давно хотели знать, но стеснялись спросить Чем гиперзвук отличается от суперзвука: то, что вы давно хотели знать, но стеснялись спросить

Есть ли скорость еще более высокая, чем гиперзвуковая?

ТехИнсайдер
Дроны-спасатели в Сербии: беспилотники, способные предотвращать катастрофы Дроны-спасатели в Сербии: беспилотники, способные предотвращать катастрофы

Съемка с высоты птичьего полета пользуется спросом в разных областях жизни

Популярная механика
Почему женщины бегают к тарологам в 30, а мужчины верят в теории заговора после 50 лет Почему женщины бегают к тарологам в 30, а мужчины верят в теории заговора после 50 лет

Почему женщины склонны впадать в эзотерику в молодом возрасте, а мужчины в 50

Psychologies
Как на самом деле работает наш иммунитет Как на самом деле работает наш иммунитет

Иммунитет – одна из самых сложных систем в организме человека

Популярная механика
Эдуард Савенко Эдуард Савенко

Харьковская шпана, к концу 1960-x превратился в литератора Лимонова

Esquire
Мозговой штурм Мозговой штурм

Чем искусственный мозг способен помочь детям с генетическими заболеваниями

Harper's Bazaar
Квантовая логика помогла изучить неупругие соударения холодных атомов и ионов Квантовая логика помогла изучить неупругие соударения холодных атомов и ионов

Данные эксперимента помогут точнее строить модели межатомного взаимодействия

N+1
Топ-10 компьютерных игр, которым срочно нужен ремейк Топ-10 компьютерных игр, которым срочно нужен ремейк

Вспоминаем любимые игры из детства, которые было бы неплохо обновить

Maxim
Устойчивые мифы: 7 популярных заблуждений о мировых достопримечательностях Устойчивые мифы: 7 популярных заблуждений о мировых достопримечательностях

Предлагаем семь мифов о достопримечательностях, которые стоит развенчать

Вокруг света
Эльвира Янковская: «В жизни всё надо делать очень качественно и от сердца Эльвира Янковская: «В жизни всё надо делать очень качественно и от сердца

Эльвира Янковская знает, как из любой девушки сделать королеву

Cosmopolitan
Иван Мулин: «Я артист разговорного закулисного жанра» Иван Мулин: «Я артист разговорного закулисного жанра»

Иван Мулин — о том, как учился у Звягинцева и изучал архивы альпиниста Дятлова

Cosmopolitan
«Юмор из моей жизни никуда не делся» «Юмор из моей жизни никуда не делся»

Интервью с актрисой Марией Кравченко, звездой сериала «Полярный 2»

OK!
Простые упражнения для снятия эмоционального напряжения и мышечных зажимов Простые упражнения для снятия эмоционального напряжения и мышечных зажимов

Упражнения, которые помогут расслабиться и почувствовать себя лучше

Esquire
На помощь! Как понять, верить ли благотворительной организации На помощь! Как понять, верить ли благотворительной организации

Как проверить благотворительную организацию на честность?

Cosmopolitan
Выплывают расписные: почему современные королевы носят «кокошники» Выплывают расписные: почему современные королевы носят «кокошники»

Кокошники остались не только в музеях, но и в королевских сокровищницах

Cosmopolitan
Что такое блокчейн: просто о сложной технологии Что такое блокчейн: просто о сложной технологии

Технология блокчейн только на первый взгляд кажется сложной

CHIP
Отрывок из книги Елены Зелинской «Балканский Декамерон» Отрывок из книги Елены Зелинской «Балканский Декамерон»

Отрывок из книги «Балканский Декамерон» — переосмыслении волны русской эмиграции

СНОБ
Гид по джинсам от Энн Хэтэуэй, главной поклонницы денима в Голливуде Гид по джинсам от Энн Хэтэуэй, главной поклонницы денима в Голливуде

Стиль Энн Хэтэуэй — чему мы можем поучиться?

Cosmopolitan
Хуже ожирения: 5 признаков, что ты скинни фэт (и как это исправить) Хуже ожирения: 5 признаков, что ты скинни фэт (и как это исправить)

Могут ли внешне худые люди страдать от ожирения?

Cosmopolitan
Однажды мы проснёмся в метавселенной Однажды мы проснёмся в метавселенной

Юрий Мартынов, совладелец BMWclub.ru, описал нам будущее метавселенных

4x4 Club
Удар, еще удар: пять актеров, которые не прочь подраться вне съемочной площадки Удар, еще удар: пять актеров, которые не прочь подраться вне съемочной площадки

Актеры, известные своей любовью подраться

Playboy
Ничего не бойся: 13 правил жизни сильной женщины Ничего не бойся: 13 правил жизни сильной женщины

Что действительно важно помнить в те дни, когда опускаются руки

VOICE
14 вредных привычек, которые стоят вам денег 14 вредных привычек, которые стоят вам денег

Какие привычки пересмотреть, чтобы

Psychologies
Полюбить понедельники: 10 простых ритуалов Полюбить понедельники: 10 простых ритуалов

Как не начинать каждую неделю с плохого настроения

Psychologies
Как выжить и преуспеть в эпоху перемен, не выгорая и не впадая в отчаяние Как выжить и преуспеть в эпоху перемен, не выгорая и не впадая в отчаяние

Отрывок книги «Стратегии перемен» Джона Коттера

Forbes
Твой дорогой блонд: 5 правил для идеального окрашивания Твой дорогой блонд: 5 правил для идеального окрашивания

Что собой представляет дорогой блонд и как можно добиться такого эффекта

VOICE
Таинственный человек из Сомертона: загадочная смерть, которую не могут раскрыть вот уже 74 года Таинственный человек из Сомертона: загадочная смерть, которую не могут раскрыть вот уже 74 года

Попытки раскрыть "дело Тамам Шуд" продолжаются до сих пор

Популярная механика
7 признаков того, что ваша собака сильно привязана к вам 7 признаков того, что ваша собака сильно привязана к вам

Насколько ваш пес привязан к вам?

Популярная механика
Открыть в приложении