Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Космические тоннели Космические тоннели

Существуют ли кротовые норы?

Популярная механика
Природа цифровой зависимости: почему мы не расстаемся с «онлайном» и можно ли с этим что-нибудь сделать? Природа цифровой зависимости: почему мы не расстаемся с «онлайном» и можно ли с этим что-нибудь сделать?

Почему техника стала источником новой зависимости и как этим управлять.

ТехИнсайдер
Тритий пошел Тритий пошел

Изотоп водорода может подарить нам батарейки, работающие годы без подзарядки

ТехИнсайдер
Настоящий оружейный барон: кто такой Виктор Бут, которого Россия освободила из американской тюрьмы Настоящий оружейный барон: кто такой Виктор Бут, которого Россия освободила из американской тюрьмы

Виктор Бут: рассказываем о самом известном российском заключенном

Maxim
Анатомия робособаки Анатомия робособаки

Выверенная анатомия Spot — продукт не слепой эволюции, а грамотной инженерии

ТехИнсайдер
Все песни только про зайцев: краткий путеводитель по кроликам и зайцам в культуре Все песни только про зайцев: краткий путеводитель по кроликам и зайцам в культуре

Как Кролик представлен в мировой культуре?

Правила жизни
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Кто и где придумал футбол? История популярнейшей игры Кто и где придумал футбол? История популярнейшей игры

Кому мы благодарны за появление игры, за которой следят миллионы!

ТехИнсайдер
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
«Мы проспали 2021 год»: глава «Кухни на районе» о кризисе в бизнесе и выходе в офлайн «Мы проспали 2021 год»: глава «Кухни на районе» о кризисе в бизнесе и выходе в офлайн

Глава «Кухни на районе» — что компании пришлось сделать, чтобы выстоять

Forbes
Питьевая вода Питьевая вода

История питьевой воды и способы сохранить ее запасы для будущих поколений

kiozk originals
Сибирский федеральный округ Сибирский федеральный округ

Здесь растет промышленность, а за ней — экономические показатели региона

Правила жизни
Пятнадцать лет на одно зернышко Пятнадцать лет на одно зернышко

Элитный картофель, конкурентоспособная свекла и зимостойкая пшеница

Наука
Научный эдьютейнмент: как вытащить детей из гаджетов Научный эдьютейнмент: как вытащить детей из гаджетов

Что такое эдьютейнмент и каким образом он может привлечь внимание детей к учебе

СНОБ
5 умопомрачительных фильмов, которые мы отказываемся когда-либо пересматривать 5 умопомрачительных фильмов, которые мы отказываемся когда-либо пересматривать

Фильмы, которые ты захочешь посмотреть, но пересматривать — никогда

VOICE
Икра по-крупному Икра по-крупному

Как выбрать вкусную икру?

Лиза
Бурлаки и федерация Бурлаки и федерация

Как появилась и почему исчезла ЗСФСР

Наука
Продли себе жизнь и укрепи здоровье: принципы аюверды для зимы Продли себе жизнь и укрепи здоровье: принципы аюверды для зимы

Аюрведа помогает улучшить качество жизни на физическом и на психическом уровнях

VOICE
Орфография лунных названий Орфография лунных названий

Что делать, если в названии объектов Вселенной не одно слово, а несколько?

Наука и жизнь
Русские алкогольные традиции, которые ужасают иностранцев Русские алкогольные традиции, которые ужасают иностранцев

Те самые традиции, которые русскому — хорошо, а немцу — смерть!

Maxim
Настоящий кошмар: реальные истории, ставшие основой известных фильмов ужасов. Эти события вас шокируют! Настоящий кошмар: реальные истории, ставшие основой известных фильмов ужасов. Эти события вас шокируют!

В основу многих хорроров действительно легли реальные события

ТехИнсайдер
Без полиции Без полиции

Как правильно оформить европротокол при ДТП

Лиза
Еще поучусь: 5 признаков синдрома самозванца и как с ними бороться Еще поучусь: 5 признаков синдрома самозванца и как с ними бороться

Как бороться с «самозванцем» и можно ли выиграть с ним борьбу?

Psychologies
«Медовые дни»: что ждало женщин из Красной Армии в плену у немцев «Медовые дни»: что ждало женщин из Красной Армии в плену у немцев

«Здоровые немецкие офицеры бьют пленную, бьют женщину»

VOICE
Российские каннибалы: пензенский маньяк ел сердца людей, читал Хемингуэя и в тюрьме зачал сына от американки Российские каннибалы: пензенский маньяк ел сердца людей, читал Хемингуэя и в тюрьме зачал сына от американки

Александр Бычков увлекался чтением и поеданием людей

ТехИнсайдер
Почему витамин D называют «солнечным»: лучи здоровья Почему витамин D называют «солнечным»: лучи здоровья

Почему солнечный свет так важен для витамина D

ТехИнсайдер
Что такое Стокгольмский синдром? Что такое Стокгольмский синдром?

Почему развивается Стокгольмский синдром и почему у него такое название?

ТехИнсайдер
Все будет хорошо. Сююмбике Давлет-Кильдеева — о надежде и правде Все будет хорошо. Сююмбике Давлет-Кильдеева — о надежде и правде

Сююмбике Давлет-Кильдеева — о том, что на самом деле значит «все хорошо»

РБК
Убийства в «проклятом треугольнике»: история маньяка-черноколготочника Юрия Цюмана Убийства в «проклятом треугольнике»: история маньяка-черноколготочника Юрия Цюмана

Юрий Цюман: советский серийный убийца и насильник из Таганрога

VOICE
Кампания для Маска: как в США крупный бизнес участвует в выборах Кампания для Маска: как в США крупный бизнес участвует в выборах

Политолог Ян Веселов — о влиянии крупного бизнеса на выборы в США

Forbes
Открыть в приложении