Генеративная музыка в смартфоне: возможности приложения Mubert для артистов и бизнеса

В середине ноября разработанный российскими программистами стриминг генеративной музыки Mubert был выбран приложением дня американским App Store. Ранее, в сентябре, приложение попало на главную страницу популярного электронного магазина.

На сегодняшний день сервисом постоянно пользуются около 200 000 человек. Большинство из них — американцы (около 30%), еще 10–15% пользователей — из России, Японии, Германии и Великобритании, а оставшиеся 10% — из Бразилии и других стран.

Мы поговорили с музыкальным директором Mubert Павлом Згорданом об особенностях приложения, принципах его работы и о том, как искусственный интеллект может помочь музыкантам и бизнес-проектам. 

Беседовали: Сергей Лосев, Никита Ровнов

Что такое генеративная музыка?

Генеративной называется музыка, которая создается некой системой, набором элементов, взаимодействующих друг с другом с помощью заданных параметров. Она не обязательно связана с компьютерными технологиями или искусственным интеллектом. 

Так, американский композитор Стив Райх первым воплотил в жизнь идею «музыканта как алгоритма», создав для своей композиции «It's Gonna Rain» 1965 года механическую генеративную систему из полевых записей с речью, пленки с которыми он закольцевал и стал воспроизводить с разной скоростью на двух магнитофонах. 

Спустя 10 лет генеративную музыку популяризировал Брайан Ино на альбоме «Discreet Music» (1975), записав его с помощью синтезаторов и манипуляций с пленкой. А уже в середине 1990-х появились первые программы, которые самостоятельно писали музыку. 

Сегодня идея генеративной музыки на массовом уровне реализуется главным образом в мобильных приложениях, которые предлагают пользователям музыку, частично или целиком созданную нейросетями и искусственным интеллектом. Созданный разработчиками из России стриминг Mubert — один из наиболее функциональных и популярных сервисов в области генеративной музыки.

Что делает Mubert?

С помощью алгоритмов и технологии машинного обучения приложение создает уникальный аудиопоток на основе встроенной базы семплов, которая постоянно обновляется. Аудиопоток меняется в зависимости от выбранного слушателем музыкального жанра, настроения и других параметров. 

Как работает Mubert?

Павел Згордан, музыкальный директор сервиса: «Алгоритм приложения в реальном времени создает музыку из семплов, которые артисты и саунд-дизайнеры загружают в нашу базу. В Mubert главным образом используются лупы с партиями отдельных музыкальных инструментов. Когда слушатель выбирает из предложенных жанров, например, техно, алгоритм берет всю базу звуков, которые подходят для этого направления, и составляет из них музыку. У Mubert есть сформированное сообщество криэйторов, которые загружают к нам самые разные звуки — полевые записи, любые инструменты, музыкальные и немузыкальные звуки». 

Кому и чем полезен Mubert

Музыкантам и лейблам

«Сейчас у Mubert есть два вида взаимодействия с музыкантами. Первый — это выкуп семплов, которые используются в разделах с жанрами и активностями. Mubert приобретает у артиста семпл-паки; условия сделки обсуждаются с каждым индивидуально. Выплата производится единовременно, так как мы выкупаем у артиста эксклюзивные права; в среднем мы платим артисту доллар за семпл.

Второй вариант — предоставление площадки для пользовательского контента, когда Mubert действует как платформа типа SoundCloud и других. К нам можно выложить свой музыкальный проект — для артиста это бесплатная витрина; мы тратим свои маркетинговые средства на раскрутку пользовательских стримов. Артисты дают нам контент, мы его раскручиваем, чтобы обменяться аудиторией. Кроме того, загружая свои семплы в приложение, артист может вступить в своеобразную коллаборацию с алгоритмом приложения и создать уникальное „генеративное“ произведение. Его можно использовать как инфоповод и дополнительный инструмент для продвижения своего творчества. 

Сейчас мы работаем над созданием авторского профиля для каждого работающего с нами музыканта, чтобы на эту страницу можно было подписаться, перейти в соцсети артиста и там начать следить за ним, а также донатить, если у музыканта есть аккаунт на соответствующих сервисах.

Есть у Mubert и специальные проекты. Например, в декабре 2018 года в рамках совместной кампании с adidas Originals была коллаборация с немецким электронным музыкантом Atom™ (Уве Шмидтом), а позже, весной, с Кириллом Рихтером. Музыканты загрузили в базу приложения свои семплы, которые были обработаны и использованы в лайв-перформансах. 

Сейчас мы готовим интересный проект с московским электронщиком Bvoice, постоянно привлекаем к сотрудничеству музыкантов, открываем новые имена.

Сейчас у Mubert есть несколько договоренностей с лейблами, которые делают у нас свои секретные каналы для вовлечения слушателей и взаимодействия с ними. Несколько резидентов лейбла могут создавать совместные стримы, либо это может быть общая коллаборация, где звучат семплы всех артистов лейбла».

Для владельцев бизнеса

«Mubert предлагает неограниченный поток фоновой музыки владельцам кафе, ресторанов и других заведений для озвучивания помещений. Использовать наше приложение в качестве „вечного диджея“ значительно дешевле, чем нанимать для тех же целей саунд-дизайнера. Кроме того, получив специальную лицензию по прямому договору с нашей компанией, владелец бизнеса может не платить отчисления в РАО и ВОИС. С помощью алгоритмов генерации музыки мы понизили стоимость производства контента, поэтому наши цены ниже. Сегодня мы работаем с представителями бизнеса в частном порядке как в России, так и в других странах».

Для владельцев приложений 

«Mubert развивает B2B-проект API, который позволит владельцам сторонних приложений купить у сервиса лицензию и использовать наши технологии в своих продуктах. Например,  у вас есть программа для создания подкастов — но в ней нет опции „сгенерировать музыку“. С помощью API владельцы приложения могут такую кнопку добавить и создать музыку практически в любом жанре. Дополнительный плюс сотрудничества с Mubert — вам не прилетят страйки за нарушение копирайта».

Для рядовых слушателей

«У нашей компании есть два новых дополнительных приложения. For — это более простая и доступная для широкой аудитории версия Mubert. Там используется другое визуальное оформление, а музыка сортируется по активностям. Еще одно наше приложение, Zen 8, позволяет генерировать роялти-фри музыку для сториз и постов в соцсетях». 

О жанрах и семплах

«На сегодняшний день в приложении представлены почти все основные жанры электронной музыки — от хауса, техно и хип-хопа до эмбиента и дроуна.

Семплы, которые загружаются в Mubert, могут быть любыми. Если при загрузке звуков пользователь укажет их жанр, алгоритму будет проще разобраться, в какой раздел определить контент. В зависимости от жанра искусственный интеллект будет по-разному генерировать музыку. 

Так, в техно структура трека будет одна, в хип-хопе — другая. При этом в приложение можно загрузить, например, техно-семплы и отметить их тегом „хип-хоп“ — тогда на выходе получится техно с „хип-хоповым“ построением. Кроме того, в будущем мы добавим такие интересные вещи, как полиритмию или сложные размеры.

В следующем обновлении у Mubert появятся новые жанры, и каждый из них можно будет настраивать под свои запросы».

Что с правами?

«На данный момент все, что играет в жанровых разделах приложения и разделах с активностями, — полностью проверенный на нарушение авторских прав контент. При модерации загружаемого к нам контента мы проверяем семплы не только по техническим параметрам (громкость, длительность и так далее), но и смотрим, чтобы к нам не попадали звуки исключительно из семпл-паков. Почему? 

Семпл-паки из библиотек предоставляются по роялти-фри лицензии; это значит, что их можно использовать для некоммерческих целей, но нельзя перепродавать, что нам не подходит. Чтобы избежать попадания к нам таких семплов, мы, во-первых, проверяем файлы на оригинальность всеми возможными способами, а во-вторых, строим отношения с библиотеками семплов (Loopmasters и с другими), стараясь получить от них как минимум доступ к базе метаданных. Они позволяют определить, свой семпл человек загрузил к нам или пытается продать приложению звук, принадлежащий другим правообладателям.

Кроме того, сейчас Mubert тестирует интеграцию с системой Content ID, которая используется в YouTube, Shazam и на многих других ресурсах. С ее помощью значительно легче определить, находится тот или иной трек в каталоге какого-либо лейбла или нет. Если мы понимаем, что трек чужой, то стараемся его удалить. С некоторыми мейджорами мы ведем переговоры о том, чтобы за деньги использовать в нашем приложении семплы из уже изданных ими треков». 

Заменит ли компьютер человека в создании музыки?

«У музыкантов всегда будет работа, им не о чем беспокоиться. Каждый принципиально новый подход к музыке прибавляется к уже существующим: когда появилась звукозапись, концерты никуда не делись. Сейчас же, с появлением генеративной музыки, в том числе созданной полностью при помощи искусственного интеллекта, можно участвовать в создании глобального интерактивного произведения вместе с другими артистами и машиной.

Брайан Ино часто говорил про такие понятия, как genius, гений одного человека, и scenius — новое слово, которое означает „коллективный гений“. С развитием технологий и ростом способности представителей новых поколений к эмпатии связи между людьми становятся крепче, и все больше артистов начинают заниматься совместным творчеством».

Другие приложения, в которых используется генеративная музыка 

Приложение Endel делает акцент на создании звукового фона для расслабления, программа Holon подстраивает ритм музыки под темп ходьбы человека, Brain.fm сосредоточено на повышении продуктивности, а сайт Generative.fm предлагает пользователям генеративные аналоги классической фортепианной музыки.