Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как правильно сделать компост: лайфхаки, которые пригодятся каждому дачнику Как правильно сделать компост: лайфхаки, которые пригодятся каждому дачнику

Собирать компост на даче необходимо. Как это сделать правильно?

Популярная механика
«Женщина может многое, кроме замужества»: как купчиха Морозова строила школы рабочим «Женщина может многое, кроме замужества»: как купчиха Морозова строила школы рабочим

Как Варвара Морозова открывала школы и больницы и заботилась о рабочих

Forbes
Ученые превратили растительные отходы в топливо для самолетов Ученые превратили растительные отходы в топливо для самолетов

Технологию производства авиатоплива из биомассы создали в РГУ нефти и газа

ТехИнсайдер
7 вещей, которые успешные люди успевают сделать до 7:30 утра 7 вещей, которые успешные люди успевают сделать до 7:30 утра

Семь утренних привычек, которые отличают успешных людей от простых смертных

Psychologies
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Армянские беженцы, военная оккупация и советский расцвет: как живет «маленькая Армения» в Краснодарском крае Армянские беженцы, военная оккупация и советский расцвет: как живет «маленькая Армения» в Краснодарском крае

Неподалеку от Анапы находится село Гай-Кодзор. Здесь по сей день хранят традиции

Вокруг света
Какая у вас роль в семье? Какая у вас роль в семье?

Цель этого теста — помочь вам узнать, каков ваш персонаж в семейной группе

Psychologies
Биоархеологи выяснили рацион людей из погребения в уборной римской термы Биоархеологи выяснили рацион людей из погребения в уборной римской термы

Древние люди из Шотландии питались в основном наземной пищей

N+1
Оцени уровень стресса, который ты испытываешь сейчас: инструкция от психолога Оцени уровень стресса, который ты испытываешь сейчас: инструкция от психолога

Стоит остановиться и подумать о своем здоровье и эмоциональном состоянии

Cosmopolitan
Это всего лишь конец света... Это всего лишь конец света...

Памяти Гаспара Ульеля – актера, философа, эстета

Playboy
Книги, которые помогут справиться с депрессией Книги, которые помогут справиться с депрессией

Если вы хотите справиться с депрессией, поможет этот список книг

Популярная механика
Как сделать, чтобы живот не урчал: 9 простых лайфхаков Как сделать, чтобы живот не урчал: 9 простых лайфхаков

Лучшие советы по преодолению урчания в животе

VOICE
Как ухаживать за замшевой обувью: простая инструкция Как ухаживать за замшевой обувью: простая инструкция

Как чистить и хранить замшевые ботинки

Esquire
Как будет работать интернет на Луне: готовимся к масштабной эмиграции в космос Как будет работать интернет на Луне: готовимся к масштабной эмиграции в космос

Andromeda обеспечит связью абонентов, которые будут жить и работать на Луне

Популярная механика
Как сложилась судьба советского солдата, который не хотел воевать: трагическая история знаменитой фотографии Как сложилась судьба советского солдата, который не хотел воевать: трагическая история знаменитой фотографии

Слышали ли вы о путешествиях этого снимка?

Популярная механика
Избежать кассового разрыва: на что сократить расходы в период кризиса Избежать кассового разрыва: на что сократить расходы в период кризиса

В сложные времена бизнес должен сокращать расходы. Трудно понять, какие именно

Forbes
Юрий Соколов. Наша банда Юрий Соколов. Наша банда

Юрий Соколов — о своей театральной банде

Коллекция. Караван историй
Твой дорогой блонд: 5 правил для идеального окрашивания Твой дорогой блонд: 5 правил для идеального окрашивания

Что собой представляет дорогой блонд и как можно добиться такого эффекта

VOICE
Не надо стесняться: 9 бьюти-проблем, которые твой мужчина не замечает Не надо стесняться: 9 бьюти-проблем, которые твой мужчина не замечает

Топ-9 женских «недостатков», которые его совершенно не волнуют

VOICE
Как работают текстовые психологические консультации Как работают текстовые психологические консультации

Не все из нас готовы общаться с психологом напрямую

Psychologies
«Тоска по дому» — новый роман Эшколя Нево о любви и родине «Тоска по дому» — новый роман Эшколя Нево о любви и родине

Отрывок из книги «Тоска по дому» — истории о семье и значении дома

СНОБ
10 простых способов сделать квартиру по-настоящему стильной 10 простых способов сделать квартиру по-настоящему стильной

Как сделать интерьер по-настоящему стильным без оглядки на правила

Cosmopolitan
Первая брачная ночь: самые дикие обычаи в мире Первая брачная ночь: самые дикие обычаи в мире

Про право первой ночи ты и так наверняка знаешь, но, это еще не самое ужасное!

VOICE
Путь на Олимп Путь на Олимп

Как возродилась древняя традиция Олимпийских игр

Вокруг света
5 одноразовых вещей, от которых необходимо избавиться прямо сейчас 5 одноразовых вещей, от которых необходимо избавиться прямо сейчас

Вещи, от которых отказаться совсем не сложно, чтобы помочь планете

Популярная механика
Mini App: зачем компаниям создавать мини-приложения и где их размещать Mini App: зачем компаниям создавать мини-приложения и где их размещать

Разработка мини-приложения поможет выйти на новую аудиторию

Популярная механика
На круги своя: как устроена индустрия виниловых пластинок На круги своя: как устроена индустрия виниловых пластинок

Как из артефакта эпохи грампластинка вновь превратилась в актуальный носитель

РБК
Химики получили эластичный и биосовместимый полимер Химики получили эластичный и биосовместимый полимер

Этот эластичный и биосовместимый полимер можно применять для электромиографии

N+1
Авария на АПЛ «Комсомолец»: как экипажу удалось спастись с подводной лодки Авария на АПЛ «Комсомолец»: как экипажу удалось спастись с подводной лодки

Кто не знает выражения «Куда ты денешься с подводной лодки?»

ТехИнсайдер
Полюбить понедельники: 10 простых ритуалов Полюбить понедельники: 10 простых ритуалов

Как не начинать каждую неделю с плохого настроения

Psychologies
Открыть в приложении