Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мы из будущего Мы из будущего

«Белая Вежа» — один из самых интересных научных центров

ТехИнсайдер
Уральский федеральный округ Уральский федеральный округ

Промышленный индекс Уральского региона растет

Правила жизни
Тритий пошел Тритий пошел

Изотоп водорода может подарить нам батарейки, работающие годы без подзарядки

ТехИнсайдер
Как не выгореть перед новогодними праздниками: 3 совета — прислушайтесь к ним Как не выгореть перед новогодними праздниками: 3 совета — прислушайтесь к ним

Как не перегореть перед праздниками

Psychologies
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Для любителей умных метафор: как «1899» стал шоу, в котором ничего не происходит Для любителей умных метафор: как «1899» стал шоу, в котором ничего не происходит

«1899»: сериал, в котором интеллектуальных разговоров больше, чем драмы

Forbes
Звуковая диагностика Звуковая диагностика

В «Норникеле» научились определять неполадки на слух

ТехИнсайдер
The Sneg: история одной семьи, которая оставила всё ради мечты о собственной фабрике The Sneg: история одной семьи, которая оставила всё ради мечты о собственной фабрике

The Sneg — самый настоящий семейный бизнес, которых в России не так много

Inc.
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Такие разные Маргариты Такие разные Маргариты

Какой была королева Маргарита у творцов разных эпох?

Дилетант
Что делать, когда грустно? Ученые дали необычный совет Что делать, когда грустно? Ученые дали необычный совет

В зависимости от настроения человеку стоит заниматься теми или иными заданиями

ТехИнсайдер
Пьет значит любит Пьет значит любит

События 20-х годов XXI века заставили многих искать успокоения в стакане

Men Today
Вакуумный корабль Вакуумный корабль

Отличным грузовым транспортом могут стать дирижабли, наполненные вакуумом

ТехИнсайдер
7 лайфхаков, как сушить одежду дома 7 лайфхаков, как сушить одежду дома

Нюансы и лайфхаки, как высушить одежду быстрее

ТехИнсайдер
Девчонки и мальчишки, а также их родители. Вечная жизнь «Ералаша» Девчонки и мальчишки, а также их родители. Вечная жизнь «Ералаша»

«Ералаш» — одно из самых необычных явлений в истории мирового кинематографа

СНОБ
Вкалывают роботы Вкалывают роботы

Как искусственный интеллект повлияет на то, как мы трудимся

N+1
Смотри не умирай Смотри не умирай

«Замерзшие»: сканди-нуар в Костомукше

Weekend
Пусто так. Эти машины могли изменить все, но так и не были выпущены Пусто так. Эти машины могли изменить все, но так и не были выпущены

Что такое vaporware и почему таких проектов становится все больше

РБК
Мышление трудоголика: 7 ошибок — как перестать работать на износ Мышление трудоголика: 7 ошибок — как перестать работать на износ

Типичные мыслительные паттерны, которые свойственны трудоголикам

Psychologies
Отчего телескопы не летают как птицы Отчего телескопы не летают как птицы

Проект SOFIA закончен. Других таких больше не будет

N+1
Арт-мир, собранный в сумку Арт-мир, собранный в сумку

Новый этап проекта Dior Lady Art

Weekend
Белый след Белый след

Ботанический барельеф моментально увлекает всех, кто к нему прикасается

Новый очаг
Неисправимая ошибка Эйзенхауэра: как был казнён дезертир Эдди Словик Неисправимая ошибка Эйзенхауэра: как был казнён дезертир Эдди Словик

За что неудачливый солдат из Детройта получил высшую меру наказания?

ТехИнсайдер
История браузера на телефоне: как посмотреть и почистить История браузера на телефоне: как посмотреть и почистить

Как посмотреть историю в самых популярных мобильных браузерах

CHIP
Сати Спивакова: Искусство должно уметь утешать Сати Спивакова: Искусство должно уметь утешать

Актриса Сати Спивакова — о поиске тем для искусства в новых реалиях

СНОБ
За версту видно За версту видно

Откуда мы знаем, что рак — это рак

N+1
Что было бы, если бы беременность длилась три года Что было бы, если бы беременность длилась три года

Что происходило бы с женщинами, если бы срок беременности увеличился?

ТехИнсайдер
Балабанов, Пелевин и Дэвид Боуи. Подводим итоги года в документальном кино Балабанов, Пелевин и Дэвид Боуи. Подводим итоги года в документальном кино

Главные документальные проекты 2022 года

СНОБ
Инженеры Toyota используют накладные ногти и наколенники, чтобы улучшить эргономику интерьера Инженеры Toyota используют накладные ногти и наколенники, чтобы улучшить эргономику интерьера

Процесс создания интерьера гораздо сложнее, чем вы думаете

4x4 Club
Польза или пиар Польза или пиар

Какую косметику выпускают звезды Голливуда (разбираем состав с экспертом)

Лиза
Открыть в приложении