Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Чистое золото Чистое золото

В компании «Полиметалл» добывают золото без вреда для природы

ТехИнсайдер
Вот что точно не ели динозавры: удивительные факты! Вот что точно не ели динозавры: удивительные факты!

Какие виды динозавров хрустели твердыми костями, а какие ели более мягкую пищу?

ТехИнсайдер
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Рождество с неудачниками и под кипарисами: 10 книг для создания новогодней атмосферы Рождество с неудачниками и под кипарисами: 10 книг для создания новогодней атмосферы

Зимние истории, которые погрузят вас в атмосферу нового года

Forbes
Анатомия робособаки Анатомия робособаки

Выверенная анатомия Spot — продукт не слепой эволюции, а грамотной инженерии

ТехИнсайдер
10 привычек перед сном, которые тебе вредят 10 привычек перед сном, которые тебе вредят

Что точно нельзя делать перед сном?

VOICE
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Одна балерина и два великих князя Одна балерина и два великих князя

Матильде Кшесинской не раз доводилось оказываться в центре различных скандалов

Дилетант
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Прокачать новые навыки и стать хорошим специалистом: чем «настолки» полезны в работе и жизни Прокачать новые навыки и стать хорошим специалистом: чем «настолки» полезны в работе и жизни

Могут ли настольно-ролевые игры оказаться полезными в работе и жизни?

Psychologies
«Ломтик» от Feadship «Ломтик» от Feadship

Feadship показывает, что бывают яхты без низких потолков и темных интерьеров

Y Magazine
«Женщинам важно объединяться»: как кризисные центры укрывают жертв домашнего насилия «Женщинам важно объединяться»: как кризисные центры укрывают жертв домашнего насилия

Как кризисные центры помогают женщинам, пережившим домашнее насилие

Forbes
Подпоручик, маршал, палач, жертва Подпоручик, маршал, палач, жертва

Как самонадеянность привела Тухачевского к гибели

Дилетант
Китайские производители электромобилей бросают вызов экспорту Tesla Китайские производители электромобилей бросают вызов экспорту Tesla

Китайские производители электромобилей активно экспортируют свои авто

4x4 Club
Смартфоны со съемными аккумуляторами: почему они пропали? Смартфоны со съемными аккумуляторами: почему они пропали?

В чем недостатки гаджетов со съемными аккумуляторами

CHIP
Одна вокруг света: каменные «шерстяные мешки» и бразильские ковбои Одна вокруг света: каменные «шерстяные мешки» и бразильские ковбои

196-я серия о кругосветном путешествии москвички Ирины Сидоренко: штат Пиауи

Forbes
Торжественное вручение Торжественное вручение

Поиск подарка под Новый год порой превращается в настоящий квест

VOICE
Как выбрать и подготовить бокалы для шампанского Как выбрать и подготовить бокалы для шампанского

Почему для шампанского нужны специальные бокалы?

Maxim
Нижегородский фрукт: как сеть «Авокадо» вышла на 100 млрд выручки Нижегородский фрукт: как сеть «Авокадо» вышла на 100 млрд выручки

Сеть магазинов «Авокадо» стала одной из самых востребованных франшиз

Forbes
Главная соперница Мэрилин Монро, которая сильно поплатилась за свою красоту: история Джейн Мэнсфилд и загадочная смерть Главная соперница Мэрилин Монро, которая сильно поплатилась за свою красоту: история Джейн Мэнсфилд и загадочная смерть

Джейн Мэнсфилд трагически погибла молодой, оставив после себя множество слухов

ТехИнсайдер
История дисс-культуры: откуда среди музыкантов взялась традиция «стрелять» друг в друга рифмами и панчами? История дисс-культуры: откуда среди музыкантов взялась традиция «стрелять» друг в друга рифмами и панчами?

История бифов — от битвы королей американского соула до российских "версусов"

Правила жизни
Безусловная любовь Безусловная любовь

Новогодняя съемка с Полиной Гагариной и ее повзрослевшим сыном Андреем

OK!
Гагган Ананд: «Еда — это послание любви!» Гагган Ананд: «Еда — это послание любви!»

Открытый, честный, настоящий, ни на кого не похожий Гагган Ананд

Bones
Как отличить хорошего психолога от шарлатана: зацепки, которые выведут его на чистую воду Как отличить хорошего психолога от шарлатана: зацепки, которые выведут его на чистую воду

Как не спутать афериста с настоящим психологом?

VOICE
Свинью пришлось лечить от алкоголизма из-за хозяина: (не) веселая история из Германии Свинью пришлось лечить от алкоголизма из-за хозяина: (не) веселая история из Германии

Свинья из немецкого городка попала в реабилитационный центр из-за алкоголя

ТехИнсайдер
Главная новогодняя закуска: как выбрать качественную и вкусную красную икру Главная новогодняя закуска: как выбрать качественную и вкусную красную икру

Как выбрать красную икру, не купить подделку и определить хорошую икру по банке

ТехИнсайдер
«Золотое правило»: 8 советов, чтобы улучшить отношения — попробуйте с партнером «Золотое правило»: 8 советов, чтобы улучшить отношения — попробуйте с партнером

Маленькие ежедневные усилия, которые улучшат ваши отношения

Psychologies
Психология проклятий: как не стать жертвой темной магии Психология проклятий: как не стать жертвой темной магии

Где магия, а где психология? И как же защититься от темной энергии?

Psychologies
Почему не уходит вес: самые популярные ошибки худеющих Почему не уходит вес: самые популярные ошибки худеющих

Вредные советы и главные ошибки, которые мешают всем худеющим

ТехИнсайдер
Комментатор «Матч ТВ» посетил все матчи ЧМ-2022. Но Книга рекордов Гиннесса не регистрирует его достижение Комментатор «Матч ТВ» посетил все матчи ЧМ-2022. Но Книга рекордов Гиннесса не регистрирует его достижение

Тимур Журавель спал по 4 часа и приезжал на 10 минут на футбол.

Maxim
Открыть в приложении