Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Вы использовали отбеливатель неправильно: зачем на самом деле нужно это средство Вы использовали отбеливатель неправильно: зачем на самом деле нужно это средство

Как не испортить вещи и привести в порядок потускневшее бельё?

Популярная механика
10 лучших дорам 10 лучших дорам

Современные сериалы – это праздник для любительниц растянуть удовольствие

VOICE
Образование без серверов: как и зачем использовать облачные технологии вузам Образование без серверов: как и зачем использовать облачные технологии вузам

Использование облачных технологий в процессе образования улучшает успеваемость

Forbes
Азбука привычного счастья Азбука привычного счастья

Итальянская культура еды может доставить неподготовленному человеку неудобства

Seasons of life
«Дикое» государство: 7 фактов о жизни на Аляске «Дикое» государство: 7 фактов о жизни на Аляске

Вечная мерзлота, действующие вулканы, множество диких животных — все это Аляска

ТехИнсайдер
Помощь себе и планете: как вырастить детей в духе экологического минимализма Помощь себе и планете: как вырастить детей в духе экологического минимализма

Отрывок из книги Стефани Мари Сефериан «Экологически ориентированный минимализм»

Forbes
«Ожившая» Диана и голая беременная Мур: 8 самых провокационных обложек в истории «Ожившая» Диана и голая беременная Мур: 8 самых провокационных обложек в истории

Порой снимки, попадающие в журналы, получаются кричащими и неоднозначными

Cosmopolitan
Держим курс на весну Держим курс на весну

10 свежих идей для преображения дома

Лиза
Невидимый страж: что такое антивирус и как он работает Невидимый страж: что такое антивирус и как он работает

Как работает антивирус?

Популярная механика
Антиэйдж: говорит наука Антиэйдж: говорит наука

Какие из популярных теорий продления молодости действительно работают?

Домашний Очаг
Не знаю, как помочь: 8 мифов о благотворительности Не знаю, как помочь: 8 мифов о благотворительности

С каждым годом благотворительностью интересуются все больше людей

Psychologies

Что такое комплекс «Панцирь-С1» и чем он интересен

Популярная механика
5 простых способов сэкономить, которые помогут выжить 5 простых способов сэкономить, которые помогут выжить

5 действенных способов сэкономить деньги

Популярная механика
Дружи как девчонка: чему стоит поучиться у женщин Дружи как девчонка: чему стоит поучиться у женщин

Разбираем стереотипы о женской дружбе

Cosmopolitan
«Любых денег не жалко»: как продавцы заставляют нас покупать ненужное «Любых денег не жалко»: как продавцы заставляют нас покупать ненужное

Способы воздействия на покупателя удивляют. Как избежать импульсивных расходов?

Psychologies
«С одной иглы на другую»: как власти собираются поддерживать IT-отрасль под санкциями «С одной иглы на другую»: как власти собираются поддерживать IT-отрасль под санкциями

Одной из главных проблем бизнес назвал утечку кадров

Forbes
На вас напала стая бездомных собак: что важно знать и как себя вести — полезная памятка На вас напала стая бездомных собак: что важно знать и как себя вести — полезная памятка

Почему бродяги набрасываются на людей и что делать, если на вас напали?

Популярная механика
Как будет работать интернет на Луне: готовимся к масштабной эмиграции в космос Как будет работать интернет на Луне: готовимся к масштабной эмиграции в космос

Andromeda обеспечит связью абонентов, которые будут жить и работать на Луне

Популярная механика
4 упражнения, чтобы определить приоритеты 4 упражнения, чтобы определить приоритеты

Научитесь определять, в чем вы нуждаетесь

Psychologies
Так ли безобидны? Когда капли для глаз могут навредить Так ли безобидны? Когда капли для глаз могут навредить

Многие используют капли при любом дискомфорте глаз. А безопасно ли это?

Лиза
Археологи обнаружили на Енисее два наскальных изображения рожениц Археологи обнаружили на Енисее два наскальных изображения рожениц

Вероятно, эти изображения рожениц сделали носители окуневской культуры

N+1
Веселые и грустные фильмы о зомбирующей силе телевидения Веселые и грустные фильмы о зомбирующей силе телевидения

Фильмы о том, что человек может стать рабом телеящика

Maxim
Маски для комбинированной кожи лица из натуральных ингредиентов Маски для комбинированной кожи лица из натуральных ингредиентов

Эффективные маски для комбинированной кожи лица из обычных продуктов

Cosmopolitan
Убийца — садовник? 10 детективов, которые отлично тренируют мозг Убийца — садовник? 10 детективов, которые отлично тренируют мозг

Детективные истории дают нам возможность ответить на этот вопрос раньше сыщика

VOICE
8 дешевых способов спасти машину от угона. Советы экспертов 8 дешевых способов спасти машину от угона. Советы экспертов

Как обезопасить авто от угона с помощью обычного светодиода?

РБК
Дети и подростки в эпоху перемен Дети и подростки в эпоху перемен

Как воспитывать детей и подростков в условиях нестабильности

СНОБ
Провалиться сквозь землю: как возникает и что о нас говорит стыд? Провалиться сквозь землю: как возникает и что о нас говорит стыд?

Стыд имеет много обличий. Он прячется за тревогой и страхом, агрессией и злостью

Psychologies
Счет идет на секунды Счет идет на секунды

Новые методы лечения инсульта и как его избежать, даже если ты в группе риска

Лиза
Прячем деньги в квартире: плохие и хорошие идеи тайников Прячем деньги в квартире: плохие и хорошие идеи тайников

Куда прятать деньги, золотые кольца и картины Моне тем, кто хранит их дома?

Cosmopolitan
Как вы воспитываете своего ребенка? Как вы воспитываете своего ребенка?

Чтобы понять, какой вы воспитатель, предлагаем примерить на себя 16 ситуаций

Psychologies
Открыть в приложении