Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Цифровое бессмертие Цифровое бессмертие

Sensorium Galaxy – VR-платформа, которая способна преобразить нашу жизнь

Популярная механика
Как рассказать детям о сексе: типичные ошибки, советы, лайфхаки Как рассказать детям о сексе: типичные ошибки, советы, лайфхаки

Какие фразы не стоит произносить во время разговоров с детьми о сексе

Psychologies
Спуск на Эверест Спуск на Эверест

Спелеология – это наука плюс спорт. Рекордные глубины пещер в нашем материале

ТехИнсайдер
Еще поучусь: 5 признаков синдрома самозванца и как с ними бороться Еще поучусь: 5 признаков синдрома самозванца и как с ними бороться

Как бороться с «самозванцем» и можно ли выиграть с ним борьбу?

Psychologies
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Андрей Деллос Андрей Деллос

Как сделать дворец уютным и нужно ли прививать москвичам привычку есть в музеях

Правила жизни
Звуковая диагностика Звуковая диагностика

В «Норникеле» научились определять неполадки на слух

ТехИнсайдер
Режиссер Режиссер

Наконец-то мы узнаем, почему Роуз не помогла Джеку после крушения "Титаника"

ТехИнсайдер
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Гардероб репорт Гардероб репорт

Как менялись стиль и привычки представителей малого и среднего бизнеса в России

Правила жизни
Точный подсчет Точный подсчет

Какие тренировки лучше всего помогают избавиться от накопленных калорий?

Лиза
Лайфхаки от Снегурочки. Что и как лечат холодом Лайфхаки от Снегурочки. Что и как лечат холодом

Горсть снега или кубик льда порой может оказаться лучше любого лекарства

Лиза
Следи за собой Следи за собой

Статистика знает все обо всех, но ничего не скажет о конкретном человеке

Популярная механика
Новое время — новые лица Новое время — новые лица

Женщины нового времени — какие они, что они делают и какие преследуют цели?

OK!
«Киллинг-фича»: технологические фишки в социальных сетях, о которых вы не знали «Киллинг-фича»: технологические фишки в социальных сетях, о которых вы не знали

Рассказываем, как соцсети интегрируют инновационные разработки в свой интерфейс

ТехИнсайдер
Наращивание ресниц: что нужно узнать перед тем, как решиться Наращивание ресниц: что нужно узнать перед тем, как решиться

Наращивание ресниц: как найти компетентного мастера и когда ресницы пора снимать

VOICE
Приносят в жертву оленей и готовят белые блюда: 10 удивительных фактов о новогодних обычаях народов России Приносят в жертву оленей и готовят белые блюда: 10 удивительных фактов о новогодних обычаях народов России

Интересные новогодние обычаи из книги «Страшный, таинственный, разный Новый год»

ТехИнсайдер
Дрожь земли Дрожь земли

В 2023 году 90 лет исполняется Уралмашзаводу

Men Today
Актриса Софья Лебедева: «Съемки для Netflix — это четкий отработанный механизм, функционирующий без накладок» Актриса Софья Лебедева: «Съемки для Netflix — это четкий отработанный механизм, функционирующий без накладок»

«Сноб» поговорил с актрисой Софьей Лебедевой об опыте съемок в сериалах

СНОБ
Немного от мартышки, немного от шимпанзе: ученые объяснили, почему человек воюет Немного от мартышки, немного от шимпанзе: ученые объяснили, почему человек воюет

Что с нами не так, почему мы развязываем кровавые войны?

Psychologies
Гало-орбита: в ожидании полета человека Гало-орбита: в ожидании полета человека

Где можно сделать пересадку на Луну

Наука
Если я заменю батарейки Если я заменю батарейки

Разговор с психологом Михаилом Стависским на тему всеобщего упадка сил и смыслов

Men Today
Побеждать как Геракл: как читать мифы с пользой для психики Побеждать как Геракл: как читать мифы с пользой для психики

Древние мифы писались не для детей

Psychologies
Юлия Снигирь и Евгения Добровольская о фильме «Время года зима» и женщинах в кино Юлия Снигирь и Евгения Добровольская о фильме «Время года зима» и женщинах в кино

Юлия Снигирь и Евгения Добровольская — о том, как женщины меняют российское кино

Forbes
Прорыв в глубины: почему потерян зонд, увидевший Марс насквозь Прорыв в глубины: почему потерян зонд, увидевший Марс насквозь

За четыре года работы на Марсе «Инсайт» перевернул представления ученых о нем

Forbes
Таинственная жизнь половинчатой женщины: она выступала в цирке и прожила успешную жизнь Таинственная жизнь половинчатой женщины: она выступала в цирке и прожила успешную жизнь

Габриэль не отказалась от всех возможных благ жизни, несмотря на недостаток

ТехИнсайдер
6 признаков того, что наши трудности в карьере и бизнесе связаны с детской историей 6 признаков того, что наши трудности в карьере и бизнесе связаны с детской историей

Как понять, какие темы стоит проработать для достижения успеха в карьере

Psychologies
Женщина в чёрном Женщина в чёрном

Мирный договор между Францией и Испанией был омрачен трагедией

Дилетант
Менструация из носа? Почти: удивительный факт о женском организме! Менструация из носа? Почти: удивительный факт о женском организме!

Почему во время месячных у женщин течет кровь из носа и что с этим можно сделать

ТехИнсайдер
Сколько раз США официально вступали в военные конфликты под разными предлогами Сколько раз США официально вступали в военные конфликты под разными предлогами

Когда США объявляла военное положение?

ТехИнсайдер
Открыть в приложении