Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Этого не может быть Этого не может быть

Самые удивительные гипотезы в биологии

ТехИнсайдер
Возможна ли любовь по переписке: история читательницы и мнение юнгианского аналитика Возможна ли любовь по переписке: история читательницы и мнение юнгианского аналитика

Можно ли полюбить, не зная человека в реальной жизни?

Psychologies
Пространство новых материалов Пространство новых материалов

Как один ученый придумал альтернативу таблице Менделеева

Популярная механика
Почему мы забываем плохое Почему мы забываем плохое

Ученые и врачи рассказывают, почему и как «время лечит»

Maxim
Планетарная оборона Планетарная оборона

Рано или поздно Земля обязательно столкнется с крупным астероидом

ТехИнсайдер
На стороне надежды На стороне надежды

Как Аки Каурисмяки превратил доброту в достоинство и достоинство в доброту

Weekend
Последний пшик моды Последний пшик моды

Одежда из баллончика, распыляемая прямо на тело, больше не фантастика

ТехИнсайдер
Бодрой ночи Бодрой ночи

Что такое синдром «последнего дня года» и как с ним правиться?

Лиза
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Великая сила блаженного тупняка: почему ничего не хотеть — это нормально Великая сила блаженного тупняка: почему ничего не хотеть — это нормально

Почему установка «быстрее! выше! сильнее!» — это не всегда хорошо

Maxim
Многогранные таланты Многогранные таланты

Прошлый век оказался весьма щедрым на гениальные умы

Популярная механика
«Загадочная история Бенджамина Баттона»: версии Фицджеральда и Финчера «Загадочная история Бенджамина Баттона»: версии Фицджеральда и Финчера

Как Дэвид Финчер снимал «Загадочную историю Бенджамина Баттона»

СНОБ
Точный подсчет Точный подсчет

Какие тренировки лучше всего помогают избавиться от накопленных калорий?

Лиза
Продолжение истории о семейных скелетах: визит в провинцию Продолжение истории о семейных скелетах: визит в провинцию

Что делать, если семейные секреты мешают отношениям с детьми

СНОБ
Коротко: почему банки США закрывают отделения с банковскими ячейками Коротко: почему банки США закрывают отделения с банковскими ячейками

Почему банки с ячейками иногда работают в убыток?

VC.RU
Она носила мужчин на руках: Леди Геркулес - самая сильная женщина XIX века Она носила мужчин на руках: Леди Геркулес - самая сильная женщина XIX века

Не все девушки в мире отличались своей хрупкостью и женственностью

ТехИнсайдер
Владимир Слипенькин — о том, как сегодня развиваются предприятия в Московской области Владимир Слипенькин — о том, как сегодня развиваются предприятия в Московской области

О новом витке развития инфраструктуры и производств

СНОБ
Похабные словечки, смайлики, лукизм: что не так с мужскими анкетами в приложениях для поиска секса Похабные словечки, смайлики, лукизм: что не так с мужскими анкетами в приложениях для поиска секса

Как составить анкету на сайте секс-знакомств, которая может привлечь внимание?

Psychologies
«Киллинг-фича»: технологические фишки в социальных сетях, о которых вы не знали «Киллинг-фича»: технологические фишки в социальных сетях, о которых вы не знали

Рассказываем, как соцсети интегрируют инновационные разработки в свой интерфейс

ТехИнсайдер
Мэрилин Монро и пограничное расстройство личности. Что мы знаем о «звездном» диагнозе Мэрилин Монро и пограничное расстройство личности. Что мы знаем о «звездном» диагнозе

На примерах звезд разбираемся, какое слово в аббревиатуре ПРЛ ключевое

Psychologies
Замещающие родители: отношения, в которых можно найти любовь и принятие Замещающие родители: отношения, в которых можно найти любовь и принятие

Раны отвержения и пренебрежения, полученные в детстве, есть у многих из нас

Psychologies
Как в том меме Как в том меме

Как люди будут искать информацию в будущем

N+1
Документальный сюр: как принц Гарри и Меган Маркл винят британцев в травле и расизме Документальный сюр: как принц Гарри и Меган Маркл винят британцев в травле и расизме

Сериал «Гарри и Меган» рассказывает всю правду о королевской семье

Forbes
Назад в прошлое: как (не) надо анализировать детство Назад в прошлое: как (не) надо анализировать детство

Когда стоит копаться в прошлом, а когда — начать двигаться дальше?

Psychologies
Новый игрок крипторынка: повторит ли хедж-фонд российских мигрантов судьбу FTX Новый игрок крипторынка: повторит ли хедж-фонд российских мигрантов судьбу FTX

Wintermute стала одним из лидирующих маркетмейкеров в мире криптоактивов

Forbes
“Мальчик-лобстер” сначала был артистом, а потом стал убийцей. Пугающая история “Мальчик-лобстер” сначала был артистом, а потом стал убийцей. Пугающая история

Даже юродивые люди могут быть жестокими

ТехИнсайдер
Как жизнь и работу художников изменили нейросети Как жизнь и работу художников изменили нейросети

Чем недовольны художники и что они говорят об искусственном интеллекте

СНОБ
10 лекарственных препаратов, которые могут быть опасны для здоровья 10 лекарственных препаратов, которые могут быть опасны для здоровья

Антибиотики, статины, антидепрессанты — опасные лекарства?

ТехИнсайдер
Невероятные факты об утконосах. Вы поразитесь! Невероятные факты об утконосах. Вы поразитесь!

Утконосы не только причудливо выглядят, но и живут не самую очевидную жизнь

ТехИнсайдер
Топ-10 продуктов для здорового зимнего меню Топ-10 продуктов для здорового зимнего меню

Как помочь организму пережить холода?

Psychologies
Открыть в приложении