Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Арктический город будущего Арктический город будущего

Реальные технологии строительства в Арктике приходили из Норильска

ТехИнсайдер
Ревизия зла Ревизия зла

Как постсоветская литература разбиралась, где свет, а где тьма, и не разобралась

Weekend
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Ваша микроволновка может больше, чем просто разогреть еду: 10 лайфхаков, о которых вы не знали Ваша микроволновка может больше, чем просто разогреть еду: 10 лайфхаков, о которых вы не знали

Эта бытовая техника способна на многое!

ТехИнсайдер
Тритий пошел Тритий пошел

Изотоп водорода может подарить нам батарейки, работающие годы без подзарядки

ТехИнсайдер
Основатель Group-IB Илья Сачков — Forbes: «Я намерен строить бизнес только в России» Основатель Group-IB Илья Сачков — Forbes: «Я намерен строить бизнес только в России»

Основатель Group-IB — о своем желании развивать свое дело в родной стране

Forbes
Штурманы подземелья Штурманы подземелья

Маркшейдеры — специалисты, знающие, как проложить дорогу под землей

ТехИнсайдер
Ни в какие ворота: самые грубые и неприятные вещи, которые можно сделать в чужом доме (и даже не заметить!) Ни в какие ворота: самые грубые и неприятные вещи, которые можно сделать в чужом доме (и даже не заметить!)

Некоторые правила этикета неочевидны, но все же стоит их усвоить

VOICE
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
На стороне надежды На стороне надежды

Как Аки Каурисмяки превратил доброту в достоинство и достоинство в доброту

Weekend
Нашествие Нашествие

Кролики-убийцы и другие животные-захватчики

Популярная механика
Герой нашего премиума Герой нашего премиума

Есть автомобили-символы, которые показывают, кто мы и где находимся

Автопилот

Истории, которые точно могли бы лечь в основу продолжения легендарного кино

Playboy
Девушки-компьютеры: кто делал вычисления для астрономов и авиаконструкторов Девушки-компьютеры: кто делал вычисления для астрономов и авиаконструкторов

Без кого ученым было бы сложнее делать открытия?

Forbes
Научный эдьютейнмент: как вытащить детей из гаджетов Научный эдьютейнмент: как вытащить детей из гаджетов

Что такое эдьютейнмент и каким образом он может привлечь внимание детей к учебе

СНОБ
Вначале было слово Вначале было слово

Ася Штейн — о том, чему мы можем поучиться у древних греков

Seasons of life
Провокация в ссоре. Что такое реактивный абьюз и как ему противостоять? Провокация в ссоре. Что такое реактивный абьюз и как ему противостоять?

Одна из наиболее коварных форм насилия — это реактивный абьюз

Psychologies
Бластер для взрослых, мясо из биореактора и летающая доска: самые интересные технологические новинки уходящего года Бластер для взрослых, мясо из биореактора и летающая доска: самые интересные технологические новинки уходящего года

В конце этого года изобретатели смогли выпустить много новых девайсов

ТехИнсайдер
Леденящая кровь история о «ядре демона» и ученых, ставших его жертвами Леденящая кровь история о «ядре демона» и ученых, ставших его жертвами

Создавшие этот объект ученые умерли мучительной смертью

ТехИнсайдер
Что нашли «Вояджеры» за пределами Солнечной системы: поразительные открытия Что нашли «Вояджеры» за пределами Солнечной системы: поразительные открытия

Открытия «Вояджеров» навсегда изменят наше представление о космосе

ТехИнсайдер
Как в Москве повышают квалификацию врачей Как в Москве повышают квалификацию врачей

Как работает Кадровый центр Департамента здравоохранения Москвы

СНОБ
Первая позиция Первая позиция

Почему за миссионерской позой закрепилась репутация скучной и консервативной?

VOICE
Что протекло в «Циолковском» Что протекло в «Циолковском»

Разбираемся в поломке российского корабля, пристыкованного к МКС

N+1
Руккола: особенности, польза и вред модной зелени Руккола: особенности, польза и вред модной зелени

Рассказываем о модном листовом овоще: кому он особенно полезен, а кому не очень

VOICE
Невероятный артист с двумя головами — Паскуаль Пиион. Вы поразитесь! Невероятный артист с двумя головами — Паскуаль Пиион. Вы поразитесь!

Одна голова — хорошо. А две?

ТехИнсайдер
Как основатель купленного X5 Group стартапа создал благотворительную соцсеть Как основатель купленного X5 Group стартапа создал благотворительную соцсеть

Социальная сеть ro: — что в ней такого особенного?

Forbes
Как снимали сериал «Офис». Отрывок из книги Энди Грин Как снимали сериал «Офис». Отрывок из книги Энди Грин

Отрывок из книги «Офис. Нерассказанная история величайшего ситкома 2000-х»

СНОБ
Валерий Фокин: Валерий Фокин:

Валерий Фокин делится воспоминаниями о начале своей карьеры

Караван историй
Без шума и пыли Без шума и пыли

Какие условия труда положены тебе по закону?

VOICE
Возвращение на Пандору: как Джеймс Кэмерон повторяет сам себя в «Аватар: Путь воды» Возвращение на Пандору: как Джеймс Кэмерон повторяет сам себя в «Аватар: Путь воды»

Почему «Аватар: Путь воды» — важнейшее кинособытие за десятилетие

Forbes
Открыть в приложении