The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Открыт код Spleeter, системы для разделения музыки и голоса

11.11.2019 10:14

Провайдер потокового вещания Deezer открыл исходные тексты экспериментального проекта Spleeter, развивающего систему машинного обучения для разделения источников звука из сложных звуковых композиций. Программа позволяет удалить из композиции вокал и оставить только музыкальное сопровождение, манипулировать звучанием отдельных инструментов или отбросить музыку и оставить голос для наложения на другой звуковой ряд, создавать миксы, караоке или транскрипции. Код проекта написан на языке Python с использованием движка Tensorflow и распространяется под лицензией MIT.

Для загрузки предлагаются уже натренированные модели для отделения вокала (одного голоса) от аккомпанемента, а также для разделения на 4 и 5 потоков, включающих вокал, барабаны, басы, пианино и остальной звук. Spleeter может применяться как в виде Python-библиотеки, так и в форме обособленной утилиты командной строки. В простейшем случае на основе исходного файла создаётся два, четыре или пять файлов с голосом и составляющими из аккомпанемента (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

При разделении на 2 и 4 потока Spleeter обеспечивает очень высокую производительность, например, при задействовании GPU разделение звукового файла на 4 потока занимает в 100 раз меньше времени, чем продолжительность исходной композиции. На системе с GPU NVIDIA GeForce GTX 1080 и 32-ядерном CPU Intel Xeon Gold 6134 обработка тестовой коллекции musDB, продолжительностью три часа 27 минут, была выполнена за 90 секунд.

Из достоинств Spleeter, по сравнению с другими разработками в области разделения звука, такими как открытый проект Open-Unmix, упоминается применение более качественных моделей, построенных на основе обширной коллекции звуковых файлов. Из-за ограничений авторских прав исследователи в области машинного обучения ограничены доступом к достаточно скудным общедоступным коллекциям музыкальных файлов, в то время как для Spleeter модели были построены с привлечением данных из обширного музыкального каталога Deezer.

По сравнению с Open-Unmix инструментарий Spleeter выполняет разделение примерно на 35% быстрее при тестировании на CPU, поддерживает MP3-файлы и генерирует заметно более качественный результат (при выделении голоса в Open-Unmix остаются следы некоторых инструментов, что, вероятно, объясняется тем, что модели Open-Unmix натренированы на коллекции из всего 150 композиций).

  1. Главная ссылка к новости (https://waxy.org/2019/11/fast-...)
  2. OpenNews: Атака на микрофоны систем голосового управления при помощи лазера
  3. OpenNews: Mozilla развивает собственную систему машинного перевода
  4. OpenNews: Открыт код для синтеза анимации с помощью нейросетей
  5. OpenNews: Выпуск системы машинного обучения TensorFlow 2.0
  6. OpenNews: GitHub открыл наработки по применению машинного обучения для поиска и анализа кода
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/51838-spleeter
Ключевые слова: spleeter, voice, music, ai, tensorflown
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (57) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.5, Аноним (5), 11:52, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Теперь можно делать свой shazam на коленке?
     
     
  • 2.6, Аноним (6), 12:02, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Теперь можно мешапить всё что угодно
     
  • 2.7, Аноним (7), 12:27, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +12 +/
    Теперь можно в реальном времени удалять музыку из трансляций на твиче и слушать вместо неё свою. Только сначала надо прикрутить этот фильтр к ffmpeg.
     
     
  • 3.18, Максим (??), 16:14, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Кто то собирал в docker?
    у меня не заработал
    WARNING:spleeter:ffprobe error
     
  • 2.8, anonicropos (?), 12:48, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Теперь можно "лишнее" качественно убирать (цензура), даже отдельные слова переставлять. Можно аккомпанировать любому исполнителю. И да можно прям "на коленке".
     
     
  • 3.26, Аноним (26), 18:20, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вручную такое разделение можно было и раньше сделать, но работа уж очень трудоемкая, либо довольствоваться простым mid/side разделением (с качеством от "ну как-то сойдет" до "полное г" в зависимости от трека)
     
  • 2.21, хотел спросить (?), 17:11, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    как же мне не хватало этой приблуды, когда режиссер калеч -6dB -9dB вкинул вокал в микс, и пришлось с общей записи голос плагинами вытаскивать и подмешивать к его творению
     

  • 1.9, Аноним (9), 13:48, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Работает на удивление хорошо, хотя не со всеми композициями справился.
     
     
  • 2.15, Аноним (15), 15:47, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • –6 +/
    >хорошо

    Если в ОП это лучшее, что у них получилось... Даже не знаю, мои ушки повяли в процессе.

    А есть такая же штука, чтобы нормально убирать фоновый шум на записи? Желательно без "нейронок".

     
     
  • 3.28, НяшМяш (ok), 19:30, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Если в ОП это лучшее, что у них получилось... Даже не знаю, мои ушки повяли в процессе.

    Ух ты, у нас тут звукорежиссёр появился, интересно...
    > А есть такая же штука, чтобы нормально убирать фоновый шум на записи? Желательно без "нейронок".

    А нет, показалось. Типичный эксперт с опеннета.

     
     
  • 4.29, Аноним (15), 19:43, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сам то слушал? Звук как из ведра это раз, удаляет не до конца это два.
     
     
  • 5.31, Аноним (31), 19:58, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • –4 +/
    что не отменяет мнение типичного иксперта опеннета
     
     
  • 6.33, Аноним (15), 20:16, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это частное мнение, я не давал экспертную оценку. Если бы я восторгался каждым говном, мне бы не ставили минусы.
     
     
  • 7.35, Аноним (35), 21:46, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Оно, в отличие от тебя, обучаемое и в данном случае звучишь как ведро именно ты.
    А у этой штуковины качество зависит от моделей и есть куда двигаться. Лабаешь свою нейронку и имеешь соответствующий результат. Возможностей вагон и маленькая тележка.
     
     
  • 8.38, Аноним (15), 22:34, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну хорошо, если так Что-то очень похожее по качеству результата я слышал лет 15... текст свёрнут, показать
     
     
  • 9.44, Аноним (44), 05:30, 12/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    На оппенете походу обитают попаданцы из альтернативной реальности, у которых 15 ... текст свёрнут, показать
     
     
  • 10.47, Аноним (15), 09:48, 12/11/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Ну видимо математика просто не хуже нейронок ... текст свёрнут, показать
     
     
  • 11.63, колба (?), 20:35, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    как говорится где этот ваш алгоритм без нейронок пойдёмте тестить кто лучше ... текст свёрнут, показать
     
  • 5.40, НяшМяш (ok), 23:46, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Сам то слушал? Звук как из ведра это раз, удаляет не до
    > конца это два.

    Слушал, даже прогнал на парочке своих любимых треков. Да, вокал отделяет не очень качественно, в пианино подмешивает другие инструменты из того же диапазона, но бас, а особенно барабаны отделяет очень прилично.

    А вообще моё высказывание было о том, что типичный эксперт с опеннета хает нейронку, хотя сам даже не знает о существовании шумодавов, которые вообще появились задолго до ПО для работы со звуком. Чистка шумов - это вообще первая задача, с которой сталкиваешься при обработке звука. Даже в магнитофонах был специальный аппаратный dolby модуль-шумодав, который при записи кассеты задирал высокие частоты, а при воспроизведении наоборот понижал - и таким образом давился естественный шум магнитной ленты.

     
     
  • 6.41, Аноним (15), 01:04, 12/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Я имел в виду убирать фоновые разговоры так-то.
     

  • 1.10, rihad (ok), 13:56, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Когда ин прочитаешь про авторские права, то только в контексте их ограничений, тормозящих развитие.
     
  • 1.11, Аноним (11), 14:42, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Рекламу можно удалять
     
  • 1.12, Аноним (12), 15:12, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Хм, а как быть с правами на модель, натренированную на копирайтном контенте, кстати?
     
     
  • 2.13, Аноним (13), 15:16, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так же, как и с теми, кто этот контент прослушал ушами.
     
     
  • 3.14, ыы (?), 15:31, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Заставить прослушать в противофазе в обратной последовательности?
     
  • 2.39, x3who (?), 23:18, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Меня текс новости тоже навёл на этот вопрос. Есть же, например, системы улучшения изображений всякие - вот оно обучилось на проприетарном контенте, а потом оттуда возъмёт какой-нибудь проприетарный образ да в картинку вставит. А потом проприетарный автор всех засудит. С музыкой такая же фигня - перекроет вопли солиста каким-нибудь проприетарных фрагментом - и всё, кранты. Копирайт нарушен, подорваны устои капиталистического общества.
     
     
  • 3.57, Аноним (57), 15:07, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > возьмет и вставит

    Это так не работает

     

  • 1.16, Аноним (16), 16:06, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    А в grindcore'чик может?
     
  • 1.17, Аноним (17), 16:11, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    На хабре новость дней 5 назад опубликовали
    я уже попробовал - есть небольшие артефакты
    мой пример my-files.ru/gfcl4g
     
     
  • 2.25, хотел спросить (?), 17:41, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • –6 +/
    на хабр и прочие говнопомойки нам плевать

    артефакты конечно есть, но по мне так и в таком виде это прям супер результат

     

  • 1.19, Аноним (19), 16:18, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Мон дьё! Теперь же можно убирать идиотский закадровый смех, да, правда же?
     
     
  • 2.22, Аноним (22), 17:14, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Только вместе с идиотскими шутками. Смотрите немое кино
     
     
  • 3.36, Аноним (35), 21:48, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Это пять :D
     

  • 1.20, Аноним (-), 16:49, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Доктор, откуда у вас такие картинки?
     
  • 1.23, Константавр (ok), 17:30, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Ресторанным лабухам всё ещё нужно :) Как раз недавно один такой просил голос вырезать на... Королёвой... Я залез в инет и все минуса ему нашёл. И даже мидихи есть. Как человек может заниматься таким и не знать где берут минуса? Почему надо обязательно вырезать из оригинала?
     
     
  • 2.27, Sluggard (ok), 19:07, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем лабуху, то есть музыканту, чужие минусовки? Он же, по идее, сам должен играть (аккомпанировать, в случае пения).
     
     
  • 3.30, Аноним (30), 19:46, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Изображать игру под фанеру?
     

  • 1.24, Аноним (16), 17:39, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    > python_requires='>=3.6, <3.8'

    Серьезно? А почему сразу не === 3.6.2.12345?

     
  • 1.32, Аноним (32), 20:05, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Всё конечно классно...но как установить? Там инструкция для форточки. ..пакет для загрузки собран для красной шляпы и других дистров еа основе оной..где для .deb??!,
     
     
  • 2.37, Аноним (35), 21:52, 11/11/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    То есть, установить git и conda - у тебя сразу лапки? Какой ты нежный :(
     
  • 2.48, Аноним (48), 09:59, 12/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Всё конечно классно...но как установить?
    >Там инструкция для форточки.
    >..пакет для загрузки собран для красной шляпы и других дистров
    >еа основе оной..где для .deb??!,

    Всё просто, уважаемый: разрабы, как и вы - нишмогли осилить пакетирование в *.deb!

     
     
  • 3.53, JL2001 (ok), 22:57, 12/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >>Всё конечно классно...но как установить?
    >>Там инструкция для форточки.
    >>..пакет для загрузки собран для красной шляпы и других дистров
    >>еа основе оной..где для .deb??!,
    > Всё просто, уважаемый: разрабы, как и вы - нишмогли осилить пакетирование в
    > *.deb!

    лучше пакетировать в nix

     

  • 1.34, Аноним (34), 20:18, 11/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    наконец то можно срезать все это нытье из песен и сделать из нее музыку =)
     
  • 1.43, Аноним (30), 01:52, 12/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Поставил pip-ом, не работает, выдаёт "Illegal instruction (core dumped)"
     
  • 1.45, Vitektm (?), 08:02, 12/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Deezer  +1 в карму
     
  • 1.49, Аноним (49), 10:28, 12/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    И что, мне теперь идти в мидоми искать этот распиленный трек? Опубликовали бы название хотя бы. Дизреспект.
     
     
  • 2.50, Аноним (49), 10:32, 12/11/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Отвечаю сам себе. Название - Led Zeppelin - Whole Lotta Love
    Ещё раз дизреспект редактору, скрывающему название трека, усложняющего жизнь
     
     
  • 3.58, Аноним (57), 15:10, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Редактор, злодей такой, намеренно скрыл название трека, чтобы тебя озадачить. Только так
     

  • 1.51, anonicropos (?), 12:32, 12/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а как эту штуку обучать? Могу ли я ей скормить оригинал и результат? (там типа слышишь как надо? А теперь повтори...)
     
     
  • 2.52, Аноним (49), 15:01, 12/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Не будь дебилом. Это не нейросеть, а алгоритм. Ты же не спрашиваешь "как научить jpeg сжимать фото?", потому что это объясняют разработчики кодеков, на языке программирования.
     
     
  • 3.54, anonicropos (?), 02:08, 13/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    сказал анон:...систему машинного обучения...натренированные модели...Библиотека на основе нейросетей доступна всем желающим бесплатно — её опубликовали на GitHub. - ничего не упустил?
     

  • 1.55, ютуб ютубов (?), 19:31, 13/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    где сам код-то? не пойму, где его скачать. по ссылкам пишут, как его собрать, а скачать то где?
     
  • 1.56, ютуб ютубов (?), 20:59, 13/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    код -то скачал, а установить не смог. через гит пытался. не получилось. кто знает, как собрать для виндовс?
     
     
  • 2.59, Аноним (57), 17:30, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    толстовато
     

  • 1.60, Аноним (60), 23:27, 15/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А эта штука умеет отделять голос от уличного шума?
    Очень часто бывает нужно для видеосьемок
     
  • 1.61, Аноним (61), 13:45, 19/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Разложил тестовый отрывок с Оззиком и на 2, и на 4, и на 5 составляющих.
    Бас не очень, остальные достойно. Нет, ну когда знаешь, что там Оззи пел, а сейчас его нет и начнешь прислушиваться, то при желании найдешь шероховатости.

    Conda в домашнем каталоге съела аж 3 Гига, а он на SSD и место там ценно. Перенесу, конечно, но из вытянутых им пакетов большая часть у меня и так стояла, зачем их еще раз качать? Тем более, что среди них есть типа freetype. Зачем это в CLI?

     
  • 1.62, Аноним (62), 18:09, 21/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    И это все, что вы можете сказать об отделении голоса от шума?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру