Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Виртуальный секс Виртуальный секс

«Популярная механика» протестировала первую в мире виртуальную любовницу

Популярная механика
«Доброе утро, монстр!»: истории об абьюзе и предательсве из кабинета психотерапевта «Доброе утро, монстр!»: истории об абьюзе и предательсве из кабинета психотерапевта

Отрывок из книги Кэтрин Гилдин «Доброе утро, монстр!»

Forbes
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Проституция в прошлом и в XXI веке: взаимовыгодное предприятие или насилие? Проституция в прошлом и в XXI веке: взаимовыгодное предприятие или насилие?

Отрывок из книги «Темная сторона сексуальной революции»

Psychologies
Планы на будущее Планы на будущее

Что о развитии автотранспорта думают в руководстве автомобильных компаний

Популярная механика
Помидор – новый суперфуд? Низкая калорийность и полезные свойства для твоего здоровья Помидор – новый суперфуд? Низкая калорийность и полезные свойства для твоего здоровья

Обычный помидор вполне может претендовать на звание суперфуда!

VOICE
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Дыхание праздника Дыхание праздника

«Предчувствие Нового года витает в воздухе» – это не просто изящные слова

Лиза
Планетарная оборона Планетарная оборона

Рано или поздно Земля обязательно столкнется с крупным астероидом

ТехИнсайдер
Бот вместо психотерапевта: научится ли искусственный интеллект лечить душу Бот вместо психотерапевта: научится ли искусственный интеллект лечить душу

Смогут ли нейросети заменить психотерапевтов?

Psychologies
Miss Maxim 2021 Miss Maxim 2021

Победительница 2021 года Валерия Богачева

Maxim
Загадываешь, а всё без толку: психолог объясняет, какие желания сбываются, а какие — нет Загадываешь, а всё без толку: психолог объясняет, какие желания сбываются, а какие — нет

Как правильно загадывать желания?

VOICE
Madam Ladá Madam Ladá

Лада Бектемирова оставила дом, родных, собак и уехала почти в никуда — в Сенегал

Seasons of life
Территория стиля Территория стиля

Креативный и модный интерьер арт–пространства Biart

SALON-Interior
Чудо Хануки Чудо Хануки

Рассказ о ханукальном чуде, произошедшем во II веке до н.э.

Grazia
Почему дети плохо учатся Почему дети плохо учатся

Как родителям помочь своему ребенку полюбить тот или иной предмет

СНОБ
Это вообще нормально: как выстроить отношения с повзрослевшим ребенком Это вообще нормально: как выстроить отношения с повзрослевшим ребенком

Отрывок из книги «Чертовы подростки!» — о родительской тревоге, гневе и вине

Forbes
Пойми меня, если сможешь Пойми меня, если сможешь

Почему мы говорим на одном языке, но часто не понимаем друг друга?

Grazia
Почему мы изменяем: 4 причины — проверьте ваши отношения Почему мы изменяем: 4 причины — проверьте ваши отношения

Если нас обманули однажды, где гарантия, что этого не случится снова?

Psychologies
Хитрый вопрос о континентах: какой их них самый большой, а какой — самый маленький Хитрый вопрос о континентах: какой их них самый большой, а какой — самый маленький

Сотни миллионов лет назад образовался суперконтинент под названием Пангея

ТехИнсайдер
Что нашли «Вояджеры» за пределами Солнечной системы: поразительные открытия Что нашли «Вояджеры» за пределами Солнечной системы: поразительные открытия

Открытия «Вояджеров» навсегда изменят наше представление о космосе

ТехИнсайдер
Will Perfom: как Серена Уильямс придумала болеутоляющий крем за $1 млрд Will Perfom: как Серена Уильямс придумала болеутоляющий крем за $1 млрд

Легенда тенниса Серена Уильямс придумала болеутоляющее средство для спортсменов

Forbes
Все будет хорошо. Сююмбике Давлет-Кильдеева — о надежде и правде Все будет хорошо. Сююмбике Давлет-Кильдеева — о надежде и правде

Сююмбике Давлет-Кильдеева — о том, что на самом деле значит «все хорошо»

РБК
Messerschmitt KR200. Самолёт рождённый ездить Messerschmitt KR200. Самолёт рождённый ездить

После войны Messerschmitt перешли на изготовление конверсионной продукции

4x4 Club
Илья Авербух и Лиза Арзамасова: Илья Авербух и Лиза Арзамасова:

Мы вообще не понимаем, что такое ссориться

Коллекция. Караван историй
Вечнодвижущаяся машина Вечнодвижущаяся машина

Вечный двигатель можно изобрести только в монастыре

Наука
13 самых глупых ошибок при употреблении алкоголя 13 самых глупых ошибок при употреблении алкоголя

Как пить ответственно

Maxim
Лицензии и другие сюрпризы: как вести бизнес в Объединенных Арабских Эмиратах Лицензии и другие сюрпризы: как вести бизнес в Объединенных Арабских Эмиратах

В Эмиратах есть важные нюансы, которые стоит знать при постройке бизнеса

Forbes
Сегодня отсутствуют Сегодня отсутствуют

Каких автомарок по осени недосчитались

Автопилот
Все, что вы хотели знать о похмелье, но боялись спросить Все, что вы хотели знать о похмелье, но боялись спросить

Что делать до, во время и после вечеринки, чтобы не было мучительно больно

Правила жизни
Открыть в приложении