Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Королевство больших зеркал Королевство больших зеркал

В конце 1990-х мир охватил бум строительства огромных телескопов

Наука
Смена сезонов Смена сезонов

Мы отказались от любых правил и дали себе свободу готовить то, что хотим

Bones
Еда, которая не убивает планету Еда, которая не убивает планету

Прокормить постоянно растущее человечество помогут микроорганизмы

ТехИнсайдер
Гены, бактерии и… эволюция Гены, бактерии и… эволюция

Интервью с Петром Сергиевым об исследовании генов

Наука и жизнь
Звуковая диагностика Звуковая диагностика

В «Норникеле» научились определять неполадки на слух

ТехИнсайдер
Любовь, преступления и дела семейные: новые турецкие сериалы, от которых невозможно оторваться Любовь, преступления и дела семейные: новые турецкие сериалы, от которых невозможно оторваться

Турецкие сериалы, которые успели занять места в сердцах зрителей

VOICE
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Почему советские женщины не снимали зимние шапки в помещениях: 5 причин странной привычки Почему советские женщины не снимали зимние шапки в помещениях: 5 причин странной привычки

Почему женщины в СССР так берегли меховые шапки?

ТехИнсайдер
Спуск на Эверест Спуск на Эверест

Спелеология – это наука плюс спорт. Рекордные глубины пещер в нашем материале

ТехИнсайдер
Найдено многообещающее средство от депрессии. Секрет — в сочетании медикамента и компьютерной программы Найдено многообещающее средство от депрессии. Секрет — в сочетании медикамента и компьютерной программы

Как простые упражнения на компьютере могут помочь в лечении депрессии

Psychologies
Кальций Кальций

Суточная норма кальция не вмещается ни в одну поливитаминную таблетку

Здоровье
Алексей Лепорк: «Соблазненная архитектура» Алексей Лепорк: «Соблазненная архитектура»

Сборник эссе о важном из произошедшего в архитектуре за последние десятилетия

СНОБ
Вторые на Луне Вторые на Луне

Как продвигается работа над космической программой Artemis?

ТехИнсайдер
Помогают похудеть и улучшают пищеварение: какие полезные гарниры пора включить в рацион Помогают похудеть и улучшают пищеварение: какие полезные гарниры пора включить в рацион

Ключ к полезному питанию — в правильных гарнирах

ТехИнсайдер
Электрический город: какой была иллюминация в Москве 1920-х годов Электрический город: какой была иллюминация в Москве 1920-х годов

Отрывок из книги «Электрический город: от 1900-х к 1930-м»

СНОБ
Новый игрок крипторынка: повторит ли хедж-фонд российских мигрантов судьбу FTX Новый игрок крипторынка: повторит ли хедж-фонд российских мигрантов судьбу FTX

Wintermute стала одним из лидирующих маркетмейкеров в мире криптоактивов

Forbes
Создатель морских мин рассказал, почему ему не стыдно за своё изобретение Создатель морских мин рассказал, почему ему не стыдно за своё изобретение

Роберт Фултон — создатель подводной войны

ТехИнсайдер
Тепло ли тебе, девица: что делать, если у вас с ним «замороженные отношения» Тепло ли тебе, девица: что делать, если у вас с ним «замороженные отношения»

Как определить, есть ли у вашей любви какое-нибудь будущее?

VOICE
Территория стиля Территория стиля

Креативный и модный интерьер арт–пространства Biart

SALON-Interior
Кто и где придумал футбол? История популярнейшей игры Кто и где придумал футбол? История популярнейшей игры

Кому мы благодарны за появление игры, за которой следят миллионы!

ТехИнсайдер
Новогоднее обострение: почему нам бывает тоскливо перед праздниками Новогоднее обострение: почему нам бывает тоскливо перед праздниками

Почему среди ярких гирлянд мы впадаем в уныние и чувствуем себя разбитыми?

Psychologies
Интимный секрет викторианской эпохи: как дамы в громоздких платьях ходили в туалет Интимный секрет викторианской эпохи: как дамы в громоздких платьях ходили в туалет

Что ж, раскроем главный секрет женской гигиены XIX века

ТехИнсайдер
Как пережить праздники в кругу семьи, если ваши родственники токсичны: 7 советов Как пережить праздники в кругу семьи, если ваши родственники токсичны: 7 советов

Советы психологов, которые помогут пройти через застолия без вреда для психики

Psychologies
5 причин, по которым лучше быть простой кассиршей, чем княгиней на Руси 5 причин, по которым лучше быть простой кассиршей, чем княгиней на Руси

Может показаться, что жизнь княгини — мечта любой женщины

VOICE
Отрывок из романа Томаса Майера «Удивительное путешествие Волькенбруха в объятия шиксы» Отрывок из романа Томаса Майера «Удивительное путешествие Волькенбруха в объятия шиксы»

Отрывок из ироничного романа о культурных противоречиях Томаса Майера

СНОБ
5 ученых, ставших писателями-фантастами 5 ученых, ставших писателями-фантастами

Часто ли научная фантастика пересекается с реальной наукой?

Maxim
Гараж особого назначения: мужское убежище или культурный миф? Гараж особого назначения: мужское убежище или культурный миф?

Как трансформировался гараж и какие тайны скрывались за его тяжелыми дверями?

Psychologies
Неисправимая ошибка Эйзенхауэра: как был казнён дезертир Эдди Словик Неисправимая ошибка Эйзенхауэра: как был казнён дезертир Эдди Словик

За что неудачливый солдат из Детройта получил высшую меру наказания?

ТехИнсайдер
Около Погребничко Около Погребничко

Почти каждый вечер в Вознесенском переулке в Москве происходит обыкновенное чудо

Seasons of life
«Треугольник печали»: как победитель Канн пытается поженить капитализм и гендер «Треугольник печали»: как победитель Канн пытается поженить капитализм и гендер

«Треугольник печали» — кино о связи экономической системы и гендера

Forbes
Открыть в приложении