Генеративная музыка: как создать хит по собственному вкусу

TechInsiderHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ирина Калабихина: «Демографический взрыв уже у нас за спиной» Ирина Калабихина: «Демографический взрыв уже у нас за спиной»

Экономист Ирина Калабихина — что с нами будет дальше и хватит ли всем места?

РБК
Сумасшедший и иконописец? Удивительные факты о Михаиле Врубеле Сумасшедший и иконописец? Удивительные факты о Михаиле Врубеле

Жизнь Михаила Врубеля: неудачное лечение в психбольнице и другие проблемы

TechInsider
Планы на будущее Планы на будущее

Что о развитии автотранспорта думают в руководстве автомобильных компаний

Популярная механика
Hip-Hop Rules Luxury Hip-Hop Rules Luxury

Отношения хип-хопа и люкса складывались непросто

Robb Report
Растительная революция: почему новое поколение выбирает «гамбургер с грядки» Растительная революция: почему новое поколение выбирает «гамбургер с грядки»

Как меняются модели потребления мясных продуктов у разных поколений

РБК
Без шума и пыли Без шума и пыли

Какие условия труда положены тебе по закону?

VOICE
Мусор и ветер Мусор и ветер

Каждый из нас производит сотни килограммов отходов в год

Популярная механика
5 любимых сказочных персонажей, которые подают детям плохой пример 5 любимых сказочных персонажей, которые подают детям плохой пример

Поведение каких персонажей стоит объяснять ребенку с точки зрения реальности

Psychologies
7 фактов из жизни Владимира Сутеева 7 фактов из жизни Владимира Сутеева

Рассказываем о детском писателе и художнике Владимире Сутееве

Культура.РФ
Смартфоны со съемными аккумуляторами: почему они пропали? Смартфоны со съемными аккумуляторами: почему они пропали?

В чем недостатки гаджетов со съемными аккумуляторами

CHIP
Конфетки на ёлке Конфетки на ёлке

Как мешок съеденных конфет повлияет на вашего ребёнка?

Здоровье
Предпраздничный стресс Предпраздничный стресс

Как правильно распределить свои силы во время подготовки к Новому году?

Лиза
12 лет на пороге смерти: душераздирающая история мальчика, который всю свою жизнь прожил в пузыре 12 лет на пороге смерти: душераздирающая история мальчика, который всю свою жизнь прожил в пузыре

Дэвид Веттер прожил всю жизнь в стерильном пузыре из-за отсутствия иммунитета

TechInsider
20 лучших российских сериалов последних лет, которые должен посмотреть каждый 20 лучших российских сериалов последних лет, которые должен посмотреть каждый

Топ российских современных сериалов

Правила жизни
Инженеры Toyota используют накладные ногти и наколенники, чтобы улучшить эргономику интерьера Инженеры Toyota используют накладные ногти и наколенники, чтобы улучшить эргономику интерьера

Процесс создания интерьера гораздо сложнее, чем вы думаете

4x4 Club
10 привычек перед сном, которые тебе вредят 10 привычек перед сном, которые тебе вредят

Что точно нельзя делать перед сном?

VOICE
Дорогу активному отдыху: 5 видов спорта, которыми можно заняться в новогодние каникулы Дорогу активному отдыху: 5 видов спорта, которыми можно заняться в новогодние каникулы

Каким видом спорта заняться зимой?

TechInsider
Как понять все о мужчине по той позе, в которой он спит Как понять все о мужчине по той позе, в которой он спит

То, как мы спим, может многое о нас рассказать

VOICE
Знакомим тебя с великолепными футболистками женской сборной России Знакомим тебя с великолепными футболистками женской сборной России

Знакомимся с прекрасной половиной российского футбола

Maxim
Египет создал биржу с российским зерном Египет создал биржу с российским зерном

Важный шаг в переводе нашей внешней торговли на национальную валюту

Эксперт
Мозг на ручном управлении: как российские ученые придумали экзокисть, которой можно управлять силой мысли Мозг на ручном управлении: как российские ученые придумали экзокисть, которой можно управлять силой мысли

Как уникальная технология помогает людям после инсульта и с ДЦП двигать руками

TechInsider
В плену конформизма: как пассивное принятие существующего порядка влияет на будущее В плену конформизма: как пассивное принятие существующего порядка влияет на будущее

К чему может привести следование мнению большинства и как с этим бороться

Forbes
Как представить нового партнера детям: главные правила Как представить нового партнера детям: главные правила

Бояться познакомить детей со своим новым партнера — это нормально

Psychologies
Не женщина, а радужная пони: к чему приводит позитивное мышление Не женщина, а радужная пони: к чему приводит позитивное мышление

Чем позитивное мышление опасно для тебя и твоих отношений

VOICE
Глава Sesderma — о стратегии ухода за кожей и российском бьюти-рынке Глава Sesderma — о стратегии ухода за кожей и российском бьюти-рынке

Габриэль Серрано Санмигель — о том, как ухаживать за лицом

РБК
Самый красивый советский маньяк: история Александра Лабуткина, в которого влюблялись жертвы Самый красивый советский маньяк: история Александра Лабуткина, в которого влюблялись жертвы

Самый странный серийный убийца советских времен

VOICE
Даже не говори Даже не говори

Анастасия Красовская рассказала о съемках обнаженной и языке кино

Grazia
Как выбрать беговые лыжи, крепления и ботинки Как выбрать беговые лыжи, крепления и ботинки

Бег на лыжах во многом похож на запрещенные вещества

Maxim
«Соглашаясь с ролью любовницы, я потеряла три года»: откровенная история читательницы «Соглашаясь с ролью любовницы, я потеряла три года»: откровенная история читательницы

Любовь слепа и не оставляет нам возможности противостоять чувствам?

Psychologies
Сами и Александр Сами и Александр

«Новая игрушка»: ремейк социальной комедии с Пьером Ришаром

Weekend
Открыть в приложении