Как создают музыку с помощью нейросетей и почему здесь не обойтись без человека

РБКHi-Tech

Дмитрий Евграфов: « В торговых центрах будет играть плохая музыка от ИИ»

Беседовала Юлия Макарова

Искусственный интеллект продвинулся по многим направлениям — от написания текстов до управления дорожным трафиком и предприятиями. Но в музыке ИИ пока не очень силен и вряд ли совершит прорыв в ближайшие годы, уверен композитор и сооснователь стартапа Endel Дмитрий Евграфов. В интервью РБК он рассказал, как создают музыку с помощью нейросетей и почему здесь пока не обойтись без человека.

РБК: Почему вы как профессиональный композитор решили развивать музыкальный ИИ? Не страшно было рубить сук, на котором сидите?

Д.Е.: Да, со стороны ситуация выглядит иронично: человек с музыкальной карьерой решил запустить стартап в сфере музыкальных технологий. Но на самом деле у нас нет и никогда не было цели оставить без работы всех композиторов и заменить их на искусственный интеллект. Наоборот, имея профессиональное представление о музыке, мне было очень интересно побывать по разные стороны баррикад. Так вот, «на той стороне» пока все не так страшно, как принято считать.

РБК: Что уже умеет музыкальный ИИ, а что у него пока не получается?

Д.Е.: Сейчас очень много заблуждений по поводу возможностей искусственного интеллекта в музыкальной сфере. Многие уверены, что ИИ уже может свободно создавать музыку в виде аудиопотока. Но на деле создавать аудиопоток сложно и дорого, а результат получается очень неэстетичным. В этом году мы потратили огромное количество времени и несколько сотен долларов на аренду серверов, чтобы обучить нейросеть. А на выходе получились два десятисекундных отрывочка, которые звучали как из преисподней. Это было невозможно ни слушать, ни использовать.

Но нейронная сеть может довольно эффективно работать с текстовым форматом, писать новости и даже стихи. Ноты — это тоже текстовый формат, хотя и специфический. Поэтому в музыке нейронная сеть создает не аудиопоток, а последовательность нот и аккордов.

РБК: Как именно Endel использует нейросети для создания музыки?

Д.Е.: В момент запуска проекта мы были очень вдохновлены академическими композиторами второй половины XX века и их экспериментами с генеративной музыкой. Они давали музыкантам не жесткую партитуру, которую нужно точно сыграть от начала до конца, а своего рода набор шансов и возможностей. В итоге каждый раз произведение звучало иначе. При этом мы знали сильные и слабые стороны нейросети и понимали, что ее произведения сами по себе звучат не очень хорошо. У нее есть свой узнаваемый почерк — довольно некрасивый и неестественный, нечеловечный.

Поэтому мы постарались объединить в приложении генеративную модель и нейросети. Наша музыка должна быть фоновой, но мы не можем сами написать тысячи мелодий, которые звучали бы хорошо и притом незаметно. Поэтому мы привлекаем нейросеть и просим ее сделать бесконечные мелодии по определенным правилам.

РБК: Все мелодии от ИИ получаются пригодными для использования?

Д.Е.: Нет, отсеивается больше половины. Курирование и ручной отбор — очень важная часть работы. Пока без человека ИИ не способен выдавать гарантированно качественный и эстетичный продукт.

РБК: На какие правила опирается нейросеть при создании музыкального ряда?

Д.Е.: Самое простое правило — использовать пентатонику, это наш основной лад. В случае Endel это означает, что мелодия играется только по черным клавишам. То есть соседние полутона, которые могли бы дать диссонанс, не используются.

Если нейросеть обучается по таким правилам, то по идее не должна генерировать какофонию. Но иногда она все равно соскакивает на что-то другое или задерживается на одной ноте.

РБК: Какой пример использования нейросети в музыке самый неудачный, на ваш взгляд?

Д.Е.: Несколько лет назад весь мир облетела новость о том, что нейросеть написала для Sony новый трек в стиле The Beatles. И этот трек звучал реально круто. Но как только начинаешь разбираться, то оказывается, что обученная нейросеть просто создала прогрессию аккордов. Потом люди взяли эти голые партитуры, сделали аранжировку, записали реальные музыкальные инструменты, добавили эффекты. То есть степень участия ИИ была примерно такой же, как если бы модный Instagram-блогер пришел в студию, напел мотив и попросил «сделать красиво», а всю остальную работу за него выполнили профессионалы.

Но обыватели обычно не вдаются в детали. Поэтому такие эксперименты лишь закрепляют ложные представления о возможностях ИИ в музыке.

РБК: Но ваша нейросеть все-таки сделала 20 альбомов для Warner Music. Как строилась работа в проекте и чем он завершился?

Д.Е.: Наше приложение выдает бесконечный звуковой ряд, адаптируя его под множество факторов — погоду, сердцебиение, настроение. Но приложение платное, и идея Warner Music нам показалась неплохой альтернативой. Если пользователь не хочет платить и получать персонализированную музыку, он может пойти в Spotify и получить тот же контент, только не индивидуальный, а открытый для всех.

В итоге мы подготовили 20 альбомов с музыкой, созданной при участии ИИ. Но тут тоже не удалось избежать спекуляций. Когда мы заключили контракт и начали выпускать релизы, различные СМИ написали, что близится конец традиционной музыки. Якобы в Endel пару раз нажали на кнопку и сделали десяток альбомов. Но на самом деле этому предшествовало полтора года работы, в которой были задействованы десятки людей. Проще было бы никакие кнопки не нажимать и сделать все по старинке.

РБК: Недавно в Endel написали джингл для подкаста РБК Тренды «Время остановиться». Сколько длилась работа?

Д.Е.: Когда система уже собрана и отстроена, все происходит быстро и просто. Мы старались ориентироваться на вашу аудиторию и те потребности, которые возникают у деловых людей. В первую очередь настройка на рабочий лад, фокусирование на задачах. Для этого мы выбрали достаточно активный музыкальный фон, который побуждает войти в состояние потока, включить мышление на максимум.

РБК: Какие новые проекты сейчас в работе у Endel?

Д.Е.: Поскольку наша система умеет адаптироваться к разным параметрам и факторам, нам интересно пробовать сферы, где есть дополнительные переменные. К примеру, «умные» колонки — это весело, но никаких новых переменных они в нашу систему не вводят. Другое дело — автомобиль, где можно адаптировать музыку под скорость и стиль вождения. Поэтому сейчас мы работаем с несколькими автоконцернами и пробуем себя в этом направлении.

Вообще, мы занялись музыкой не просто потому, что ее любим. Музыка интересна в первую очередь тем, что позволяет влиять на когнитивные состояния человека через звук. Но в будущем мы хотим работать не только со звуком.

Наш гранд-концепт — это «мегаумный» дом, который умеет подстраиваться под настроение обитателей. Он сможет получать информацию из календаря, навигатора, гироскопа автомобиля и других устройств. Поэтому он будет знать, что днем ты провел пять встреч, а потом еще три часа простоял в пробке. И исходя из этих данных настраивать свет, температуру, предлагать подходящие фильмы и музыку.

РБК: Как в целом музыкальный ИИ будет развиваться в обозримой перспективе?

Д.Е.: Думаю, что лет через пять–десять, когда технологии ИИ станут доступнее, качество выдаваемой музыки все еще будет слабым. Но для компаний с не очень большим бюджетом, которые не могут себе позволить вручную отбирать треки и делать аранжировки, это будет приемлемый вариант. Обязательно найдутся владельцы кафе и ресторанов, магазинов и торговых центров, которые не захотят платить лейблам или музыкантам. И тогда в ТЦ будет играть плохая, но доступная музыка от ИИ.

Дмитрий Евграфов, композитор и сооснователь сервиса Endel. Созданное стартапом приложение генерирует звуковой фон, подстраиваясь под внешние факторы и задачи пользователя, — например, помогает сосредоточиться, уснуть или расслабиться. Параллельно с работой в Endel Дмитрий выпускает собственные альбомы в стиле неоклассики.

Фото: Endel

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Вячеслав Дубынин: «В нас конкурируют две программы — безопасности и любопытства» Вячеслав Дубынин: «В нас конкурируют две программы — безопасности и любопытства»

О разрушении модели мира, неопределенности и извлечении пользы из тревожности

РБК
Внучки, или Как спасти семейные ценности — 2 Внучки, или Как спасти семейные ценности — 2

Иногда даже психологу приходится признать свое поражение

СНОБ
«Зеленые» без политики «Зеленые» без политики

Трансфер технологий даже при существующих санкционных ограничениях

РБК
Из последних сил Из последних сил

Если любимой работы стало слишком много

Лиза
Мировой уровень Мировой уровень

Пять глобальных предпринимателей из России, известных далеко за пределами Рунета

Forbes
Выключение трех ферментов спасло нейроны от смерти Выключение трех ферментов спасло нейроны от смерти

Подавление активности киназ способствовало выживанию нейронов

N+1
Главное — участие Главное — участие

Как домохозяйке основать международную бизнес-империю?

Forbes
Меха и мужские костюмы: как одеваются знаменитые российские балерины Меха и мужские костюмы: как одеваются знаменитые российские балерины

Выяснили, как в обычной жизни одеваются российские балерины

Cosmopolitan
Рейтинг брендов Рейтинг брендов

Новые марки, которые стали заметны на рынке за год

Forbes
Джек Лондон. Камень, который отвергли строители Джек Лондон. Камень, который отвергли строители

Он уже и сам не знал, чего хочет больше — уснуть или умереть

Караван историй
Бизнес без нервных срывов Бизнес без нервных срывов

Антон Кушнер: как войти в 2021 год с крепким ментальным здоровьем

РБК
Как NASA исследовало загадочный искусственный объект на орбите Земли: гость их прошлого Как NASA исследовало загадочный искусственный объект на орбите Земли: гость их прошлого

Блок ракеты «Кентавр», или странный объект на орбите Земли

Популярная механика
Нейросеть GPT-3: «Роботы никогда не заменят потребность в людях» Нейросеть GPT-3: «Роботы никогда не заменят потребность в людях»

Собеседник РБК — третье поколение алгоритма по обработке естественного языка

РБК
Бионические руки не помогли перепрошить осязание Бионические руки не помогли перепрошить осязание

Возможно ли перестроить биологическую обратную связь в протезе руки

N+1
Гипотезы потребления Гипотезы потребления

Венчурный фонд, запущенный основателем «Вкусвилла», должен сделать мир лучше

Forbes
Особые люди: как и для чего власть закрывает данные о себе Особые люди: как и для чего власть закрывает данные о себе

К чему приведет отнесение силовиков к категории особо защищенных лиц?

Forbes
Третья версия интернета Третья версия интернета

Технология, за которой следят пристальней, чем за раскрученной метавселенной

Forbes
«Профессор, конечно, лопух, но аппаратура при нем»: лайфхаки студентов и преподавателей на дистанционке «Профессор, конечно, лопух, но аппаратура при нем»: лайфхаки студентов и преподавателей на дистанционке

Дистанционное обучение - очень противоречивая штука

Популярная механика
Северная доставка Северная доставка

Как компания из Архангельска стала крупнейшим игроком на рынке фудтеха

Forbes
Как инженер-ядерщик с русскими корнями придумала «умную» карту деловых связей и попала в список Forbes Как инженер-ядерщик с русскими корнями придумала «умную» карту деловых связей и попала в список Forbes

Как 28-летняя Екатерина Парамонова попала в рейтинг «30 до 30» Forbes

Forbes
Летящая на волне Летящая на волне

История о том, как летал один из самых необычных сверхзвуковых самолетов

Популярная механика
Как в кино: какая она — любовь во снах и наяву Как в кино: какая она — любовь во снах и наяву

Что говорит о нас неопределенность сегодняшнего дня?

РБК
История DeLorean: как инженер-плейбой разрушил свою автомобильную компанию — и вот уже 20 лет её пытаются возродить История DeLorean: как инженер-плейбой разрушил свою автомобильную компанию — и вот уже 20 лет её пытаются возродить

Джон Делореан руководил Pontiac, но не смог сохранить собственную компанию

VC.RU
Из мягкого гидрогеля напечатали анатомически точную модель сердца в натуральную величину Из мягкого гидрогеля напечатали анатомически точную модель сердца в натуральную величину

Анатомически точные модели органов помогут в обучении хирургов

N+1
Отрывок из автобиографии Майи Анджелу — великой темнокожей писательницы и соратницы Мартина Лютера Кинга Отрывок из автобиографии Майи Анджелу — великой темнокожей писательницы и соратницы Мартина Лютера Кинга

Фрагмент из книги Майи Анджелу «Поэтому птица в неволе поет»

Esquire
Загадка Кипренского Загадка Кипренского

Александр Кибовский разбирается в творческом наследии Ореста Кипренского

Дилетант
«Амбиций у меня вообще поубавилось, тем более в бизнесе»: главное из интервью Олега Тинькова на «Дожде» «Амбиций у меня вообще поубавилось, тем более в бизнесе»: главное из интервью Олега Тинькова на «Дожде»

Олег Тиньков рассказал о борьбе с болезнью и сорвавшейся сделке с «Яндексом»

VC.RU
Биология творчества и шедевры душевнобольных Биология творчества и шедевры душевнобольных

Отрывок из книги Эрика Канделя «Расстроенная психика»

СНОБ
Что стоит сделать каждому парню до 30 лет: чек-лист из 10 пунктов Что стоит сделать каждому парню до 30 лет: чек-лист из 10 пунктов

Крутые вещи, которые обязательно нужно выполнить до того, как тебе стукнет 30

Playboy
Почему в России головные уборы были необходимой частью костюма? Почему в России головные уборы были необходимой частью костюма?

В старину головные уборы имели практическое значение

Культура.РФ
Открыть в приложении