Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Цепь переменного токена: почему NFT считают фикцией, но все равно покупают Цепь переменного токена: почему NFT считают фикцией, но все равно покупают

Имеет ли владелец NFT исключительные права на произведения искусства?

Популярная механика
Судебный роман Судебный роман

Один из самых знаменитых романов XIX века открывается посвящением адвокату

Дилетант
До эпохи айфона: 10 телефонов, о которых мечтали все До эпохи айфона: 10 телефонов, о которых мечтали все

Раскладушки, встроенные игровые консоли — добро пожаловать в зал славы телефонов

Inc.
Ошибки при хранении, из-за которых продукты портятся быстрее, чем должны Ошибки при хранении, из-за которых продукты портятся быстрее, чем должны

Что может быть проще, чем хранить продукты?

Cosmopolitan
История культового символа Лондона: почему телефонные будки красного цвета История культового символа Лондона: почему телефонные будки красного цвета

Почему телефонные будки Лондона окрашены именно в яркий красный цвет?

ТехИнсайдер
От суфражисток до профсоюзных лидеров: 5 фильмов о женской солидарности От суфражисток до профсоюзных лидеров: 5 фильмов о женской солидарности

Фильмы о героинях, которые борются за равные права с мужчинами

Forbes
Мигрирующие морские слоны определили расстояние до родной колонии Мигрирующие морские слоны определили расстояние до родной колонии

Как морские слоны выбирают оптимальное время для начала миграции

N+1
«Экономическая бойня»: как Венесуэла десятилетиями переживает кризис из-за санкций «Экономическая бойня»: как Венесуэла десятилетиями переживает кризис из-за санкций

Как на Венесуэлу повлияли разрушительные санкции США?

Forbes
Россия собирается отправить на Марс «робота-кентавра» Россия собирается отправить на Марс «робота-кентавра»

Экспедицию на Красную планету Роскосмос планирует организовать самостоятельно

Популярная механика
8 советов по быстрой уборке: как эффективно и поскорее создать порядок (или его видимость) 8 советов по быстрой уборке: как эффективно и поскорее создать порядок (или его видимость)

Как убраться в последнюю минуту?

Популярная механика
История DVKB. Путь дизайнера и художника надгробий до собственного бренда керамики История DVKB. Путь дизайнера и художника надгробий до собственного бренда керамики

Дизайнер и художник по надгробиям придумали свой бренд керамики

Inc.
Ошибка с библиотекой msvcp140.dll: как от нее избавиться Ошибка с библиотекой msvcp140.dll: как от нее избавиться

Ошибка библиотеки msvcp140.dll: что это за ошибка, и как ее исправить

CHIP
Оцени уровень стресса, который ты испытываешь сейчас: инструкция от психолога Оцени уровень стресса, который ты испытываешь сейчас: инструкция от психолога

Стоит остановиться и подумать о своем здоровье и эмоциональном состоянии

Cosmopolitan
Живой пример: 5 случаев, когда коррекция бровей круто преобразила внешность Живой пример: 5 случаев, когда коррекция бровей круто преобразила внешность

Хороший броу-мастер сможет преобразить твои брови так, что ты себя не узнаешь!

Cosmopolitan
Премию Абеля присудили за новаторский вклад в топологию Премию Абеля присудили за новаторский вклад в топологию

Лауреатом стал американский математик Деннис Салливан

N+1
Что едят Наоми Кэмпбелл и другие топ-модели на ужин — 10 рецептов Что едят Наоми Кэмпбелл и другие топ-модели на ужин — 10 рецептов

Ужинать можно и нужно: знаменитости подсказывают, что они едят на ужин

VOICE
MUJEVA: «Была готова приплачивать сама, чтобы мои песни слушали» MUJEVA: «Была готова приплачивать сама, чтобы мои песни слушали»

MUJEVA — на что копит деньги и за что ее хейтят?

ЖАРА Magazine
Как покупали и чинили иномарки в СССР Как покупали и чинили иномарки в СССР

Как чувствовали себя владельцы иномарок в СССР?

Maxim
Как похудеть за 5 дней без вреда для здоровья: проверенные способы Как похудеть за 5 дней без вреда для здоровья: проверенные способы

Выполняй простые правила и похудей за 5 дней!

VOICE
Путь на Олимп Путь на Олимп

Как возродилась древняя традиция Олимпийских игр

Вокруг света
На круги своя: как устроена индустрия виниловых пластинок На круги своя: как устроена индустрия виниловых пластинок

Как из артефакта эпохи грампластинка вновь превратилась в актуальный носитель

РБК
Спите и ешьте: 5 научных способов похудеть Спите и ешьте: 5 научных способов похудеть

Что нужно учитывать, чтобы похудеть?

Популярная механика
Любимец миллионов: всё о жизни главного лица телевидения 90-х Влада Листьева Любимец миллионов: всё о жизни главного лица телевидения 90-х Влада Листьева

Как жил легендарный журналист Владислав Листьев

Cosmopolitan
10 простых советов, как привести себя в форму к лету 10 простых советов, как привести себя в форму к лету

Перефразируя пословицу, готовь сани летом, а фигуру – зимой. Или хотя бы весной

Лиза
Я так вижу Я так вижу

Женя Миронов рассказал о своем понимании правды в искусстве

Grazia
Пережили 90-е: как справлялись с кризисом наши мамы и бабушки Пережили 90-е: как справлялись с кризисом наши мамы и бабушки

Как семьи наших читательниц пережили 90-е

Cosmopolitan
План побега: как уйти из ситуации домашнего насилия План побега: как уйти из ситуации домашнего насилия

Памятка, которая поможет справиться с домашним насилием

Psychologies
Ребенок должен быть лучшим во всем: чем чревато такое воспитание Ребенок должен быть лучшим во всем: чем чревато такое воспитание

От чего стоит отказаться, чтобы вырастить счастливого человека?

Psychologies
Уход от реальности: 7 правил, чтобы потом вернуться Уход от реальности: 7 правил, чтобы потом вернуться

Как правильно дистанцироваться от происходящего и отвлекаться от повестки?

Psychologies
Консервные банки, «E-шки» и рецепты для гиков: научный взгляд на пищевую индустрию Консервные банки, «E-шки» и рецепты для гиков: научный взгляд на пищевую индустрию

Книги о том, как на самом деле производят все, что мы едим

Популярная механика
Открыть в приложении