Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Сексуальные привычки животных: 5 самых необычных способов оплодотворения в дикой природе Сексуальные привычки животных: 5 самых необычных способов оплодотворения в дикой природе

Самые странные способы оплодотворить свою вторую половинку в животном мире

Популярная механика
Провалиться сквозь землю: как возникает и что о нас говорит стыд? Провалиться сквозь землю: как возникает и что о нас говорит стыд?

Стыд имеет много обличий. Он прячется за тревогой и страхом, агрессией и злостью

Psychologies
Антисмартфоны и цифровые детокс-устройства: как tech-индустрия зарабатывает на нашей усталости от экранов Антисмартфоны и цифровые детокс-устройства: как tech-индустрия зарабатывает на нашей усталости от экранов

Гаджеты, которые помогут вернуть контроль над своим временем

Inc.
Харуки Мураками. Отрывок из сборника рассказов «От первого лица» Харуки Мураками. Отрывок из сборника рассказов «От первого лица»

Отрывок из меланхоличного автофикшена Харуки Мураками «От первого лица»

СНОБ
Мы выбираем друг друга не случайно Мы выбираем друг друга не случайно

Выбор партнера предопределен всем предшествующим ходом нашей жизни

Psychologies
Отрывок из книги Елены Зелинской «Балканский Декамерон» Отрывок из книги Елены Зелинской «Балканский Декамерон»

Отрывок из книги «Балканский Декамерон» — переосмыслении волны русской эмиграции

СНОБ
Так ли безобидны? Когда капли для глаз могут навредить Так ли безобидны? Когда капли для глаз могут навредить

Многие используют капли при любом дискомфорте глаз. А безопасно ли это?

Лиза
15 лучших психологических триллеров всех времен и народов 15 лучших психологических триллеров всех времен и народов

Психологических триллеры, полные неожиданных сюжетных линей и персонажей

Cosmopolitan
Просто быть в искусстве. О программах и попечителях главного театра страны Просто быть в искусстве. О программах и попечителях главного театра страны

О работе Фонда попечителей Большого театра

СНОБ
Время Дракона. Весеннее небо Время Дракона. Весеннее небо

Созвездие Дракона — приполярное созвездие северного полушария

Наука и жизнь
Выплывают расписные: почему современные королевы носят «кокошники» Выплывают расписные: почему современные королевы носят «кокошники»

Кокошники остались не только в музеях, но и в королевских сокровищницах

Cosmopolitan
Представьте себе Представьте себе

Любое путешествие может стать уникальным опытом, полным невероятных открытий

Grazia
Как принимать решения в кризисное время: базовые практики и советы психологов Как принимать решения в кризисное время: базовые практики и советы психологов

Есть ли способ правильно принимать решения в непростое время?

Esquire
Как работают текстовые психологические консультации Как работают текстовые психологические консультации

Не все из нас готовы общаться с психологом напрямую

Psychologies
«Юмор из моей жизни никуда не делся» «Юмор из моей жизни никуда не делся»

Интервью с актрисой Марией Кравченко, звездой сериала «Полярный 2»

OK!
7 вещей, которые успешные люди успевают сделать до 7:30 утра 7 вещей, которые успешные люди успевают сделать до 7:30 утра

Семь утренних привычек, которые отличают успешных людей от простых смертных

Psychologies
Солярий Солярий

Стоит ли пользоваться солярием? Взвешиваем все "за" и "против"

Здоровье
Красноречивее слов: фотографии, ставшие символами борьбы за мир Красноречивее слов: фотографии, ставшие символами борьбы за мир

Подборка фотографий, запечатлевших моменты борьбы за мир, дружбу, любовь

Cosmopolitan
Топ-9 продуктов, которые избавят тебя от прыщей Топ-9 продуктов, которые избавят тебя от прыщей

От каких продуктов прыщи ретируются, если включить их в свой рацион

VOICE
Как ученые сфотографировали одиночный атом: знаковый снимок Как ученые сфотографировали одиночный атом: знаковый снимок

Сегодня мы расскажем вам о том, как было сделано реальное фото атома

ТехИнсайдер
«Мне приходится дома скрывать, что встречаюсь с парнем» «Мне приходится дома скрывать, что встречаюсь с парнем»

Сепарация — это в первую очередь задача ребенка

Psychologies
7 советских вещей, которые пригодятся и сейчас 7 советских вещей, которые пригодятся и сейчас

Какие вещи из СССР могут получить право на вторую жизнь?

Популярная механика
Знаменитый рецепт чили от Кевина из сериала Знаменитый рецепт чили от Кевина из сериала

Как приготовить чили из сериала "Офис"?

Популярная механика
8 продуктов, которые стоит включить в рацион при «забитых» артериях 8 продуктов, которые стоит включить в рацион при «забитых» артериях

Их стоит есть почаще и для профилактики, и чтобы очистить пострадавшие сосуды

Популярная механика
План побега: как уйти из ситуации домашнего насилия План побега: как уйти из ситуации домашнего насилия

Памятка, которая поможет справиться с домашним насилием

Psychologies
Гниды с высушенных голов указали на генетическое разнообразие американских вшей Гниды с высушенных голов указали на генетическое разнообразие американских вшей

Палеогенетики исследовали гниды, обнаруженные на высушенных головах тсантса

N+1
Их любили наши мамы и бабушки: эти советские марки выпускают косметику и сегодня Их любили наши мамы и бабушки: эти советские марки выпускают косметику и сегодня

Косметика, которая давно и бесповоротно заслужила доверие наших мам

Cosmopolitan
Известняк для Венеры Виллендорфской добыли в Северной Италии Известняк для Венеры Виллендорфской добыли в Северной Италии

Ученые исследовали палеолитический артефакт, найденный более ста лет назад

N+1
3500 км по Индии: Без карты. Без путеводителя. На трех колесах 3500 км по Индии: Без карты. Без путеводителя. На трех колесах

О незабываемых приключениях в Индии от первого лица

Playboy
Однажды мы проснёмся в метавселенной Однажды мы проснёмся в метавселенной

Юрий Мартынов, совладелец BMWclub.ru, описал нам будущее метавселенных

4x4 Club
Открыть в приложении