Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Еда, которая не убивает планету Еда, которая не убивает планету

Прокормить постоянно растущее человечество помогут микроорганизмы

ТехИнсайдер
«Уже и пальто подать нельзя»: как деловой этикет помогает избегать харассмента «Уже и пальто подать нельзя»: как деловой этикет помогает избегать харассмента

Почему проявления вежливости могут быть неуместными

Forbes
Виртуальный секс Виртуальный секс

«Популярная механика» протестировала первую в мире виртуальную любовницу

Популярная механика
Как стирать шубу из искусственного меха: базовые правила по уходу, которые сохранят идеальный внешний вид вещи Как стирать шубу из искусственного меха: базовые правила по уходу, которые сохранят идеальный внешний вид вещи

Рассказываем об основных правилах ухода за верхней одеждой из экомеха

ТехИнсайдер
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
6 книг, которые согреют вас в новогодние праздники 6 книг, которые согреют вас в новогодние праздники

Подборка книг для полного Новогоднего погружения

ТехИнсайдер
Анатомия робособаки Анатомия робособаки

Выверенная анатомия Spot — продукт не слепой эволюции, а грамотной инженерии

ТехИнсайдер
Как часто нужно мыться человеку: вы можете удивиться Как часто нужно мыться человеку: вы можете удивиться

Давайте разберемся, сколько раз нужно мыться в неделю!

ТехИнсайдер
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Праздник без слёз Праздник без слёз

Детский психолог озвучила 5 правил спокойного праздника

Новый очаг
Учить всему всех всеми Учить всему всех всеми

Нарастающее усложнение современного мира — это системный вызов образованию

Наука
Никотиновая независимость. Как мир отказывается от сигарет Никотиновая независимость. Как мир отказывается от сигарет

Как государства по всему миру борются с никотиновой зависимостью граждан

СНОБ
Шоу имени Гитлера Шоу имени Гитлера

Олимпиада 1936 года — грандиозный идеологический успех нацистской Германии

Дилетант
Воронка вины: как формируется созависимость с алкоголиком Воронка вины: как формируется созависимость с алкоголиком

Почему зависимые люди «срываются» и возвращаются к алкоголю?

Psychologies
Что было бы, если бы беременность длилась три года Что было бы, если бы беременность длилась три года

Что происходило бы с женщинами, если бы срок беременности увеличился?

ТехИнсайдер
Как формируется способность к зрелым отношениям: 4 фактора Как формируется способность к зрелым отношениям: 4 фактора

Что развивает в нас способность к зрелым отношениям

Psychologies
Целлюлит, прощай! Идеальная программа для гладких ног без «апельсиновой корки» Целлюлит, прощай! Идеальная программа для гладких ног без «апельсиновой корки»

Хочешь уменьшить количество целлюлита и сделать его более незаметным?

VOICE
Шокирующая история: лишь небольшая царапина от домашнего кота довела ребенка до клинической шизофрении Шокирующая история: лишь небольшая царапина от домашнего кота довела ребенка до клинической шизофрении

Какой будет ваша реакция, если ваш ребенок скажет, что он проклятый сын дьявола?

ТехИнсайдер
Пятнадцать натуральных средств для омоложения Пятнадцать натуральных средств для омоложения

Предотвратить мелкие «возрастные» неприятности можно и без помощи специалистов

Здоровье
А вы знаете, кто жена Деда Мороза и где родители Снегурочки? Пришло время раскрыть тайну! А вы знаете, кто жена Деда Мороза и где родители Снегурочки? Пришло время раскрыть тайну!

Что связывает священника с современным Дедом Морозом, кроме бороды?

ТехИнсайдер
Вот что спасет женщин от перелома шейки бедра: несколько продуктов и советы ученых Вот что спасет женщин от перелома шейки бедра: несколько продуктов и советы ученых

Белок и чашка кофе: что может снизить риск перелома бедра у женщин

ТехИнсайдер
Долг Германии за Первую мировую войну был настолько большим, что на его погашение ушло 92 года Долг Германии за Первую мировую войну был настолько большим, что на его погашение ушло 92 года

Как Германия выплачивала свои долги после Первой мировой войны?

ТехИнсайдер
Главная новогодняя закуска: как выбрать качественную и вкусную красную икру Главная новогодняя закуска: как выбрать качественную и вкусную красную икру

Как выбрать красную икру, не купить подделку и определить хорошую икру по банке

ТехИнсайдер
Скажи им спасибо: кто изобрел посудомойку, стиральную машину и пылесос Скажи им спасибо: кто изобрел посудомойку, стиральную машину и пылесос

Кого благодарить за вымытую посуду, чистый пол и свежую одежду?

VOICE
Наращивание ресниц: что нужно узнать перед тем, как решиться Наращивание ресниц: что нужно узнать перед тем, как решиться

Наращивание ресниц: как найти компетентного мастера и когда ресницы пора снимать

VOICE
3 причины, по которым искусственный интеллект (пока) не заменит живых художников 3 причины, по которым искусственный интеллект (пока) не заменит живых художников

Почему ИИ не может выиграть конкуренцию с человеком в творчестве?

Inc.
Ришельё на дамбе Ла-Рошели Ришельё на дамбе Ла-Рошели

Картина французского художника Анри-Поля Мотта, посвященная дамбе Ла-Рошель

Дилетант
«Воспитание дикости» «Воспитание дикости»

Как животные создают свою культуру, растят потомство, учат и учатся

N+1
Трезвый взгляд Трезвый взгляд

История девушки, которой удалось победить алкоголизм

VOICE
Физики на квантовом компьютере наблюдали поведение червоточины в пространстве-времени Физики на квантовом компьютере наблюдали поведение червоточины в пространстве-времени

Как ведет себя червоточина?

ТехИнсайдер
Открыть в приложении