Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Последний пшик моды Последний пшик моды

Одежда из баллончика, распыляемая прямо на тело, больше не фантастика

ТехИнсайдер
Продолжение истории о том, кто живет в вашей комнате Продолжение истории о том, кто живет в вашей комнате

Как работает теория ближнего и дальнего круга и может ли она помочь семье

СНОБ
Цифровое бессмертие Цифровое бессмертие

Sensorium Galaxy – VR-платформа, которая способна преобразить нашу жизнь

Популярная механика
Трава у дома Трава у дома

В каждом регионе есть свои уникальные травы, про которые многие не знают

Bones
Планетарная оборона Планетарная оборона

Рано или поздно Земля обязательно столкнется с крупным астероидом

ТехИнсайдер
Заморский принцип Заморский принцип

В отношениях с человеком из другой страны много плюсов, но есть и сложности

VOICE
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Королева панка умерла: как Вивьен Вествуд нарушала табу и изменила моду Королева панка умерла: как Вивьен Вествуд нарушала табу и изменила моду

Как королева панка Вивьен Вествуд изменила мир моды — и мир вообще

Forbes
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Pantone назвали цвет 2023 года. Как его выбирают и зачем это нужно? Pantone назвали цвет 2023 года. Как его выбирают и зачем это нужно?

Как можно предсказать главный цвет на год вперед?

Правила жизни
Какие виды современных животных вошли в настоящий Какие виды современных животных вошли в настоящий

Действительно ли одни виды животных умнее других?

ТехИнсайдер
Дорогу активному отдыху: 5 видов спорта, которыми можно заняться в новогодние каникулы Дорогу активному отдыху: 5 видов спорта, которыми можно заняться в новогодние каникулы

Каким видом спорта заняться зимой?

ТехИнсайдер
Длинные руки «Буяна» Длинные руки «Буяна»

В 2015 году мы узнали, что наносить ракетные удары можно из Каспийского моря

Популярная механика
Прогулки по Вселенной и освоение Марса: насколько люди близки к невозможному Прогулки по Вселенной и освоение Марса: насколько люди близки к невозможному

Насколько близко современная наука приблизилась к созданию варп-двигателей

ТехИнсайдер
Санта-Киллер: история старика, убивавшего женщин, которых не радовало Рождество Санта-Киллер: история старика, убивавшего женщин, которых не радовало Рождество

Благообразный старичок искренне верил, что делает мир лучше

VOICE
Как стирать шубу из искусственного меха: базовые правила по уходу, которые сохранят идеальный внешний вид вещи Как стирать шубу из искусственного меха: базовые правила по уходу, которые сохранят идеальный внешний вид вещи

Рассказываем об основных правилах ухода за верхней одеждой из экомеха

ТехИнсайдер
Жуткая история: почему люди панически боятся крыс? Жуткая история: почему люди панически боятся крыс?

Почему крысы до сих пор вызывают в людях панический страх и брезгливость?

ТехИнсайдер
«Киллинг-фича»: технологические фишки в социальных сетях, о которых вы не знали «Киллинг-фича»: технологические фишки в социальных сетях, о которых вы не знали

Рассказываем, как соцсети интегрируют инновационные разработки в свой интерфейс

ТехИнсайдер
Миллионы и миллиарды марок Миллионы и миллиарды марок

Почтовые марки Германии, которые тщетно пытались успеть за ценами

Дилетант
Как улучшить психическое здоровье? Нужно переехать в особую местность: ответ ученых Как улучшить психическое здоровье? Нужно переехать в особую местность: ответ ученых

Что поможет человеку улучшить его душевное состояние?

ТехИнсайдер
Сколько лет в среднем живут собаки, и что влияет на продолжительность их жизни Сколько лет в среднем живут собаки, и что влияет на продолжительность их жизни

Сколько живут лучшие друзья человека, как порода влияет на долготу их жизни

ТехИнсайдер
Как снимали сериал «Офис». Отрывок из книги Энди Грин Как снимали сериал «Офис». Отрывок из книги Энди Грин

Отрывок из книги «Офис. Нерассказанная история величайшего ситкома 2000-х»

СНОБ
Не только «Уэнсдей»: лучшие танцы в истории кино Не только «Уэнсдей»: лучшие танцы в истории кино

Какие танцы из истории кинематографа заставляли нас покрываться мурашкам?

Правила жизни
Аналитики, юнгианцы, гештальтисты, арт-терапевты и другие: какие бывают психологи? Аналитики, юнгианцы, гештальтисты, арт-терапевты и другие: какие бывают психологи?

Какие бывают специальности и направления в психологии?

Psychologies
Выпечка: сочетания без правил Выпечка: сочетания без правил

Сладкая выпечка — это история, понятная для всех

Bones
Как распознать инсульт Как распознать инсульт

Как понять, что у человека инсульт и что делать, чтобы не потерять время

Лиза
Опера с человечным первым лицом Опера с человечным первым лицом

«Милосердие Тита» Моцарта как редкий образец оперной доброты

Weekend
Что значат наши отношения с деньгами: 5 примеров — изучите себя Что значат наши отношения с деньгами: 5 примеров — изучите себя

По тому, как люди относятся к деньгам, можно определить их образ мышления

Psychologies
Странная «Битва за Лос-Анджелес» времен Второй мировой войны показывает, насколько пугливы американцы Странная «Битва за Лос-Анджелес» времен Второй мировой войны показывает, насколько пугливы американцы

25 февраля 1942 американские военные открыли в небе Лос-Анджелеса шквал огня

ТехИнсайдер
Права эмбрионов: нужно ли защищать клетки в пробирке и как поступают в других странах Права эмбрионов: нужно ли защищать клетки в пробирке и как поступают в других странах

Зачем в 2022 году в России вдруг потребовалось защищать клетки в пробирке

Forbes
Открыть в приложении