Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мы из будущего Мы из будущего

«Белая Вежа» — один из самых интересных научных центров

ТехИнсайдер
Богемный шик Богемный шик

Создаем интерьер в стиле бохо

Лиза
Звуковая диагностика Звуковая диагностика

В «Норникеле» научились определять неполадки на слух

ТехИнсайдер
Улыбаемся и машем Улыбаемся и машем

Перед вами сборник рецептов хорошего настроения со всего мира

Men Today
Спуск на Эверест Спуск на Эверест

Спелеология – это наука плюс спорт. Рекордные глубины пещер в нашем материале

ТехИнсайдер
Уроки санскрита: что такое «кама мута» и как найти любовь в мелочах Уроки санскрита: что такое «кама мута» и как найти любовь в мелочах

Быть движимым любовью — что это за чувство и как оно наполняет жизнь смыслом?

Forbes
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Найдено многообещающее средство от депрессии. Секрет — в сочетании медикамента и компьютерной программы Найдено многообещающее средство от депрессии. Секрет — в сочетании медикамента и компьютерной программы

Как простые упражнения на компьютере могут помочь в лечении депрессии

Psychologies
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
От Дашковой до Ковалевской: как женщины преподавали и занимались наукой От Дашковой до Ковалевской: как женщины преподавали и занимались наукой

Историк науки Ольга Валькова — как были связаны научная карьера и брак

Forbes
Первая встреча Первая встреча

Если мы получим сигнал от братьев по разуму, то что будем делать дальше?

ТехИнсайдер
Хагай и хлеб Хагай и хлеб

Домашняя пекарня Хагая Бен-Йегуды и два мешка времени

Seasons of life
Сколько можно спать? Сколько можно спать?

Еще несколько сотен лет назад европейцы спали дважды за сутки

Популярная механика
Арт-мир, собранный в сумку Арт-мир, собранный в сумку

Новый этап проекта Dior Lady Art

Weekend
Этот женский гормон может спасти от бреда. Стоит узнать! Этот женский гормон может спасти от бреда. Стоит узнать!

Делирий можно предотвратить с помощью особого гормона

ТехИнсайдер
Врач объяснил, кому нельзя резко бросать пить Врач объяснил, кому нельзя резко бросать пить

Бросать зеленого змия нужно очень аккуратно!

Maxim
Как правильно фотографировать автомобиль Как правильно фотографировать автомобиль

Для продажи нужно хорошо сфотографировать автомобиль. Так как же это сделать?

4x4 Club
Эмоциональное отреагирование: как справиться с переживаниями без вреда для себя и окружающих Эмоциональное отреагирование: как справиться с переживаниями без вреда для себя и окружающих

Сдерживание эмоциональных порывов вредит всем сферам нашей жизни

Psychologies
ИИ в ретейле, музыке, фармакологии: как Армения становится технологичной ИИ в ретейле, музыке, фармакологии: как Армения становится технологичной

Современная Армения — это не только туризм, но и центр высоких технологий

РБК
Найти гадалок, доставить бабочек в Куршевель: консьерж — о запросах Найти гадалок, доставить бабочек в Куршевель: консьерж — о запросах

Консьерж-службы: внутренняя кухня и самые экзотические запросы жильцов

РБК
Принц цирка Принц цирка

Анар рассказал, почему он уверен, что должен жить на Голливудских холмах

Grazia
Директор музея архитектуры — о конструктивизме 100 лет назад и сегодня Директор музея архитектуры — о конструктивизме 100 лет назад и сегодня

Почему конструктивизм можно сравнить с фундаментом здания

РБК
Гараж особого назначения: мужское убежище или культурный миф? Гараж особого назначения: мужское убежище или культурный миф?

Как трансформировался гараж и какие тайны скрывались за его тяжелыми дверями?

Psychologies
Кофе на альтернативном молоке: дань моде или реальная польза? Ответ вас удивит Кофе на альтернативном молоке: дань моде или реальная польза? Ответ вас удивит

Оправдан ли всеобщий отказ от коровьего молока?

ТехИнсайдер
Мышление трудоголика: 7 ошибок — как перестать работать на износ Мышление трудоголика: 7 ошибок — как перестать работать на износ

Типичные мыслительные паттерны, которые свойственны трудоголикам

Psychologies
Почему витамин D называют «солнечным»: лучи здоровья Почему витамин D называют «солнечным»: лучи здоровья

Почему солнечный свет так важен для витамина D

ТехИнсайдер
За голову этой девушки немцы давали целое состояние: чем была так опасна советская партизанка «Бандит Катя» За голову этой девушки немцы давали целое состояние: чем была так опасна советская партизанка «Бандит Катя»

Как появилась «Бандит Катя» и почему её так боялись немцы

ТехИнсайдер
Смотри не умирай Смотри не умирай

«Замерзшие»: сканди-нуар в Костомукше

Weekend
Как с помощью архетипа узнать свою суперсилу и найти идеальную работу Как с помощью архетипа узнать свою суперсилу и найти идеальную работу

Что отличает архетипы друг от друга и какая деятельность подойдет каждому из них

Psychologies
Снеживиночка и внучка Деда Мороза: что мы знаем о главном женском зимнем персонаже Снеживиночка и внучка Деда Мороза: что мы знаем о главном женском зимнем персонаже

Forbes Woman рассказывает о снегурочке и о других женских зимних персонажах

Forbes
Открыть в приложении