Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Классика жанра Классика жанра

Глубина философии или просто утопия?

Автопилот
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
The Sneg: история одной семьи, которая оставила всё ради мечты о собственной фабрике The Sneg: история одной семьи, которая оставила всё ради мечты о собственной фабрике

The Sneg — самый настоящий семейный бизнес, которых в России не так много

Inc.
Пистолет Лебедева Пистолет Лебедева

Новинка концерна «Калашников» – пистолет Лебедева ПЛ-15

Популярная механика
Знакомство с родителями Знакомство с родителями

Как зарабатывают и чем владеют родственники нового британского премьера

Деньги
Спуск на Эверест Спуск на Эверест

Спелеология – это наука плюс спорт. Рекордные глубины пещер в нашем материале

ТехИнсайдер
Как российские ЗРК попали в руки американским военным и что из этого вышло Как российские ЗРК попали в руки американским военным и что из этого вышло

Чем хороши российские ЗРК «Тор» и «Оса»?

ТехИнсайдер
Штурманы подземелья Штурманы подземелья

Маркшейдеры — специалисты, знающие, как проложить дорогу под землей

ТехИнсайдер
Pantone назвали цвет 2023 года. Как его выбирают и зачем это нужно? Pantone назвали цвет 2023 года. Как его выбирают и зачем это нужно?

Как можно предсказать главный цвет на год вперед?

Правила жизни
До самых до окраин До самых до окраин

Для снабжения труднодоступных территорий пригодятся дроны

ТехИнсайдер
Недооцененный булгур: польза и вред Недооцененный булгур: польза и вред

Надоели рис и гречка? Попробуй булгур!

VOICE
Сколько можно спать? Сколько можно спать?

Еще несколько сотен лет назад европейцы спали дважды за сутки

Популярная механика
Пусть сначала подрастут Пусть сначала подрастут

Чтобы сбережений стало больше, неси их в банк: там деньги поработают на тебя

VOICE
Как компьютеры научились переводить: от «языкового ковчега» до «электронного мозга» Как компьютеры научились переводить: от «языкового ковчега» до «электронного мозга»

Как зародился машинный перевод?

ТехИнсайдер
На старте На старте

История несостоявшейся защиты первой диссертации Альберта Эйнштейна

Наука и жизнь
В этих странах запрещено отмечать Новый год — и вот, почему В этих странах запрещено отмечать Новый год — и вот, почему

В некоторых странах Нового года и вовсе не существует!

VOICE
Как скопировать фотографии со смартфона на компьютер Как скопировать фотографии со смартфона на компьютер

Способы копирования или переноса фотографий с телефона на компьютер

CHIP
Удивительный Удивительный

Часто "фрики" — оказываются вполне себе джентльменами

ТехИнсайдер
«Под многолетним слоем пыли»: история одной семьи, где родился ребенком с аутизмом «Под многолетним слоем пыли»: история одной семьи, где родился ребенком с аутизмом

С самого детства Эмили ее родители понимали, что девочка не может выразить себя

Forbes
Хитрый вопрос о континентах: какой их них самый большой, а какой — самый маленький Хитрый вопрос о континентах: какой их них самый большой, а какой — самый маленький

Сотни миллионов лет назад образовался суперконтинент под названием Пангея

ТехИнсайдер
Конфетки на ёлке Конфетки на ёлке

Как мешок съеденных конфет повлияет на вашего ребёнка?

Здоровье
Вперед к успеху: 4 шага, чтобы получить от жизни все, — попробуйте прямо сейчас Вперед к успеху: 4 шага, чтобы получить от жизни все, — попробуйте прямо сейчас

Предлагаем маршрут по самосовершенствованию, состоящий из четырех шагов

Psychologies
Зависть: что это за чувство и можно ли его побороть Зависть: что это за чувство и можно ли его побороть

Из-за чего в нас время от времени просыпается зависть

ТехИнсайдер
Ком в горле: как эмоции связаны с телом Ком в горле: как эмоции связаны с телом

Как наши эмоции влияют на самочувствие и как избавиться от горлового зажима

Psychologies
Бизнес на Луне: зачем японский зонд везет на себе арабский луноход Бизнес на Луне: зачем японский зонд везет на себе арабский луноход

Космическое такси для луноходов

Forbes
Почему атлеты пьют много протеиновых коктейлей: не вредно ли это? Почему атлеты пьют много протеиновых коктейлей: не вредно ли это?

Протеин — просто белок, и которого много пользы при правильном употреблении

ТехИнсайдер
8 книг для тех, кто в новом году решил начать жизнь с чистого листа 8 книг для тех, кто в новом году решил начать жизнь с чистого листа

Книги, с которыми вы наведете порядок в разных сферах своей жизни

ТехИнсайдер
Как создавалось золотое бикини принцессы Леи — один из самых знаменитых костюмов в кино Как создавалось золотое бикини принцессы Леи — один из самых знаменитых костюмов в кино

Как появился образ принцессы Леи в бикини и из чего оно было сделано

Правила жизни
Знакомьтесь, Лина Гасанова! Знакомьтесь, Лина Гасанова!

Торжественно добавляем в почетный список героев новой вечерней моды еще одно имя

Собака.ru
Открыть в приложении