Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Искусственный интеллект и карьера: доступные технологии, которые помогут не выгореть на работе Искусственный интеллект и карьера: доступные технологии, которые помогут не выгореть на работе

Стресс на рабочем месте — более распространенная проблема, чем принято думать

Популярная механика
Детская непосредственность Детская непосредственность

Почему роспись нового храма в Морозовской больнице не доведена до конца

Forbes
Как выбрать ультрабук: на что обратить внимание при покупке Как выбрать ультрабук: на что обратить внимание при покупке

Гайд по выбору подходящей именно вам модели ультрабука

CHIP
Запахло жареным: может ли парфюм испортиться и как это определить Запахло жареным: может ли парфюм испортиться и как это определить

Могут ли духи испортиться, и если да, то какой у них срок годности?

Cosmopolitan
Самые опасные виды туризма в России Самые опасные виды туризма в России

От чего надо держаться подальше в процессе активного отдыха?

Maxim
Изобретения древних римлян, которые изменили мир Изобретения древних римлян, которые изменили мир

Какие изобретения древних римлян мы используем до сих пор?

Популярная механика
Любовь во время чумы: 80 лет в Касабланке Любовь во время чумы: 80 лет в Касабланке

Почему Касабланка, фильм 1942 года, до сих пор актуален?

РБК
Поговорить и не выгореть: 8 лайфхаков от сотрудников call-центра Поговорить и не выгореть: 8 лайфхаков от сотрудников call-центра

Как построить разговор так, чтобы не остаться после него опустошенным

Psychologies
Самые популярные телеграм-каналы: список лучших Самые популярные телеграм-каналы: список лучших

Составили список интересных каналов, которые можно почитать в Telegram

TechInsider
Ольга Серябкина Ольга Серябкина

Ольга Серябкина — почему время лонгплеев не прошло и что вдохновляет музыкантов

ЖАРА Magazine
Дружи как девчонка: чему стоит поучиться у женщин Дружи как девчонка: чему стоит поучиться у женщин

Разбираем стереотипы о женской дружбе

Cosmopolitan
Фактчек: 10 самых популярных легенд о самураях Фактчек: 10 самых популярных легенд о самураях

Правда ли, что самураи могли остановить удар катаны хлопком ладоней?

Arzamas
История одного здания: Московская удельная контора История одного здания: Московская удельная контора

Усадьба, которая вошла в историю как Московская удельная контора

Культура.РФ
«Тоска по дому» — новый роман Эшколя Нево о любви и родине «Тоска по дому» — новый роман Эшколя Нево о любви и родине

Отрывок из книги «Тоска по дому» — истории о семье и значении дома

СНОБ
Мясу нет Мясу нет

Растительные VS животные: какие белки полезнее на самом деле

Лиза
Посмотри на себя Посмотри на себя

Как помочь ребенку принять себя?

Домашний Очаг
10 животных, чей кал полезнее, чем кажется 10 животных, чей кал полезнее, чем кажется

Всему есть свое место в природе. Неужели, утилизировать можно даже экскременты?

Популярная механика
Какие машины выпускают в Северной Корее: «Свисток», «Кукушка» и другие Какие машины выпускают в Северной Корее: «Свисток», «Кукушка» и другие

Как устроена автомобильная реальность Северной Кореи

РБК
Как великий автомобиль стал жертвой времени: необычные факты о гениальном «Трабанте» Как великий автомобиль стал жертвой времени: необычные факты о гениальном «Трабанте»

«Трабант» никогда не был идеальным, но мало кто знает, что он настоящий уникум

TechInsider
Открытый свету Открытый свету

Небольшой садовый домик с летней террасой

Идеи Вашего Дома
Представьте себе Представьте себе

Любое путешествие может стать уникальным опытом, полным невероятных открытий

Grazia
7 книг, чтобы пережить сложные времена 7 книг, чтобы пережить сложные времена

Несколько книг, которые помогают разобраться в себе и дают поддержку

Psychologies
План побега: как уйти из ситуации домашнего насилия План побега: как уйти из ситуации домашнего насилия

Памятка, которая поможет справиться с домашним насилием

Psychologies
Непостижимый мир Непостижимый мир

Как вести бизнес при зашкаливающей неопределенности и непрогнозируемых рисках

Forbes
Самые большие клетки на Земле: таких крупных одноклеточных вы точно еще не видели! Самые большие клетки на Земле: таких крупных одноклеточных вы точно еще не видели!

Рассказываем о рекордсменах среди одноклеточных

Популярная механика
Как научиться жить без сахара Как научиться жить без сахара

Рассказываем, как жить в гармонии с собой, без всякой тяги к сладостям

Psychologies
Часто просыпаетесь среди ночи? Как быстро уснуть и чего не следует делать Часто просыпаетесь среди ночи? Как быстро уснуть и чего не следует делать

Как уснуть, если проснулся среди ночи?

Популярная механика
Брюс Уиллис завершил карьеру в кино: 13 его лучших фильмов Брюс Уиллис завершил карьеру в кино: 13 его лучших фильмов

Вспоминаем самые яркие фильмы с Брюсом Уиллисом

РБК
Просто быть в искусстве. О программах и попечителях главного театра страны Просто быть в искусстве. О программах и попечителях главного театра страны

О работе Фонда попечителей Большого театра

СНОБ
Саранчу пора спасать от вымирания Саранчу пора спасать от вымирания

Глобальное потепление меняет биоразнообразие на Земле

Наука и жизнь
Открыть в приложении