Free Stem-, Drum- & Midi-Separator - BetaTest

jet2

Tonträger
Registriert
07.09.11
Beiträge
17.149
Reaktionen
12.081
Ort
Berlin
Punkte
59.656
hi leutz,


ich habe (mit ki-unterstützung, aber vor allem sehr sehr viel eigenarbeit) eine ki-applikation programmiert,

die eine komplette audio-datei in

4 instrumental-stems (bass, drums other, vocals)
5 einzeldrums (cymbals, hh, kick, snare, toms)
5 einzel-drum-midi-dateien (cymbals, hh, kick, snare, toms)

splittet.

würde mich freuen, wenn ihr schreibt, obs bei euch funktioniert.


hier gehts zum exe download:


lg @jet2
 
Zuletzt bearbeitet:
  • Danke
  • Interessant
Reaktionen: BLUE-S-MAN, losch, rho und 16 andere

ich habe gerade bemerkt, dass die exe noch im taskmanager hängen bleibt,
sodass man sie aktuell noch manuell aus den tasks löschen muss...
sie wird außerdem über den installer zwar ausgeführt, aber nicht richtig im system installiert.
da kümmere ich mich gleich nochmal drum...
 
  • Danke
Reaktionen: bartman4ever und LeoLausemaus
sorry für die kleine kinderkrankheit.
sollte jetzt klappen...

bitte nochmal die aktuelle datei downloaden.

 
Danke für deine Arbeit! 👍

Ich finde 700MB irgendwie wenig wenn die LLM bereits inkludiert sind, aber wenn es funktioniert.
 
Danke für deine Arbeit! 👍

Ich finde 700MB irgendwie wenig wenn die LLM bereits inkludiert sind, aber wenn es funktioniert.
es werden ja 2 llms verwendet.
check mal, ob es so geht.
ich habe versucht, sie beim setup zu integrieren.
wenn sie nicht dabei sein sollten,
sollte es noch einen download beim start der applikation geben.

ich bin jedenfalls sehr gespannt, ob das auch bei euch auf anhieb läuft...
 
Bin leider aktuell unterwegs und habe nur mein Ubuntu Laptop dabei.
 
Vielen Dank für die Arbeit und fürs bereitstellen. Werde ich nachher zuhause mal ausprobieren. So ein Tool suche ich schon lange. 👍
 
  • Danke
Reaktionen: jet2
hi leutz,

ich habe (mit ki-unterstützung, aber vor allem sehr sehr viel eigenarbeit) eine ki-applikation programmiert,
die eine komplette audio-datei in
  • 4 instrumental-stems (bass, drums other, vocals)
  • 5 einzeldrums (cymbals, hh, kick, snare, toms)
  • 5 einzel-drum-midi-dateien (cymbals, hh, kick, snare, toms)
splittet.
auf besonderen wunsch von @speedtom habe ich das programm gestern nochmal in mehrstündiger arbeit verbessert.

die applikation benutzt per default eine cuda gpu.
ist diese vorhanden, braucht sie keine 5 minuten, um die stems und das midi zu berechnen.
ist sie nicht vorhanden, gibt es einen fallback auf die cpu.
das kann dann bei einer 5 min. audiodatei und einer langsamen cpu auch mal eine stunde dauern...

für die applikation habe ich einen windows installer gebaut.
dieser sollte das programm und auch die benötigten models installieren.
bei mir lokal läuft es.
hab das aber noch nicht auf anderen rechnern getestet.

das programm ist fast 700 mb groß (weil da auch die nötige infrastruktur mit integriert ist).

ich hoffe, es funktioniert bei euch.
beim ersten mal würde ich es nicht mit riesigen audiodateien testen.

den download findet ihr unter https://universalien.de/drumextractor/

sagt mir bitte bescheid, wenn was nicht klappen sollte.
würde mich freuen, wenn ihr fleissig testet....


lg @jet2
Nice! Bin leider aufm Mac und kann das deswegen nicht testen ^^. Stellst du den Quellcode noch bereit oder hast du keine GPL v3 Komponenten benutzt :)?
 
Nice! Bin leider aufm Mac und kann das deswegen nicht testen ^^. Stellst du den Quellcode noch bereit oder hast du keine GPL v3 Komponenten benutzt :)?
mal schauen, vielleicht gebe ich das repo frei.
die basisapplikation ist in python und muss unter linux etwas aufwendiger installiert werden.
für mac speziell habe ich nichts gemacht, da ich gerade keinen apple rechner zur verfügung habe.
erstmal würde mich interessieren, ob sich das ganze reibungslos auf einem frischen windows system installieren lässt...
 
  • #10
ok, gab noch ein kleines problem mit dem automatischen model-download.
jetzt ist es aber auch bei einem anderen user gelaufen... :smil451c7211b9e19:
 
  • #11
Ja, so ist es. Erst ist der Extraktionsvorgang bei mir immer abgebrochen. Nachdem ich Uli mein Fehlerprotokoll geschickt hatte, hat er den Fehler erkannt und umgehend behoben. Werde jetzt das Tool mal intensiv testen und die Ergebnisse ggf. mit anderen Tools vergleichen.
 
  • Danke
Reaktionen: jet2
  • #12
Klingt interessant. Kann man da das Zielverzeichnis für die Installation auf eine andere Platte legen ? Bei der Systempartition bin ich inzwischen knauserig....

EDIT:
Die Installation mit dem Installer (mit MZP file magic) funktioniert auch auf F:\DrumExtractor

Obwohl mein System mit einer RTX-2070 arbeitet und alle dafür relevanten CUDA Treiber installiert sind (es ist auch das CUDA SDK, wie auch MSVC vorhanden) und alternativ auch ein OpenCL Treiber vorhanden ist, rendert das Programm leider nur auf allen 16 Kernen meiner CPU mit knapp unter 60% CPU Auslastung.
Speichernutzung ist mit etwa 3 bis 3,5 GB recht moderat

Wenn Du das mal in VST3 Form anbieten willst, könnte sich ein Blick auf https://github.com/sevagh/demucs.cpp lohnen. Den Tip hatte ich mal Aaron von StageCraftSoftware für seinen Splitter gegeben, weil er nicht wusste, wie man solch ein Python ML Projekt (Demucs 4) in eine C++ Hülle, wie einem VST3 einbetten kann. Wie man sieht, hat das geklappt.

Die Extraktion der Instrumenten Stems geht relativ schnell. Der Rest ist ohne GPU Suport aber fürchterlich langsam.

Hier mal einen kleinen Eindruck der CPU Auslastung bei der Drum Separation

2026-03-25 19_57_23-Task-Manager.webp
 
Zuletzt bearbeitet:
  • #13
Die Extraktion einzelner Druminstrumente finde ich ja sehr interessant. Mal schauen, ob ich das in einer VM laufen lassen kann, bin ja auch auf Mac.
 
  • #14
Ich habe mal einen Demosong meiner Band (aufgenommen vor über 30 Jahren, alles Bio, kein Clicktrack) aufteilen lassen, die Drum-MIDIs in Cubase reingezogen und mit EZ Drummer abspielen lassen. Von der Qualität der resultierenden Drums bin ich absolut positiv überrascht.
 
  • #15
Wieso werden die Drum Spuren denn als MP3 exportiert. Die anderen Spuren werden als WAV exportiert

In der Config ist 44,1 als Ausgabeformat angegeben. Das wäre klasse, wenn man soetwas noch in der GUI konfigurierbar machen könnte (siehe config_mdx23c.yaml)
Die einzelnen Windows API Files kann man doch gegen die API Runtime ersetzen. Das würde Platz sparen
 
  • #16
Ich habe die separierten Files gerade mal in Cubase reingeworfen. Die separierten Drum Stems sind nicht synchron zu den anderen Stems
 
  • #17
Finde ich ein cooles Projekt!
Ich hab aber generell Probleme von KI generierte Software laufen zu lassen. Am Ende weiß doch keiner *genau* was die unter der Oberfläche macht, was da für Bugs drin sind, die im schlimmsten Fall sogar Schaden anrichten können. Oder?
 
  • #18
Finde ich ein cooles Projekt!
Ich hab aber generell Probleme von KI generierte Software laufen zu lassen. Am Ende weiß doch keiner *genau* was die unter der Oberfläche macht, was da für Bugs drin sind, die im schlimmsten Fall sogar Schaden anrichten können. Oder?
Ich frage mich, was daran KI sein soll. Es ist ein Python ML Projekt, wo die Datenbasis angelernte Audioaufnahmen in einer komprimierten Form, also das sog. Model sind, die für eine Stem Separation notwendig sind. Der Rest sind dann allerhand OpenSource Tools, die von Python aufgerufen werden. So lange man das Programm ausführt findest Du die Einzelbestandteile, also auch die ausgepackten Einzelprogramme, im temporären Verzeichnis unter C:\User\[Benutzername]\AppData\temp\ und dort in einem Verzeichnis, welches mit Unterstrich _ anfängt. Da ist auch nichts selbst lernend (KI), sondern alles nur angelernt, also aus einer nennen wir es mal "Datenbank" ausgelesen.

Die LLM Betreiber stöpseln dann ganz viele solcher ML Modelle in einem eigenen Modell zusammen und nennen das dann KI und verkaufen sowas dann als Abo. Im Gegensatz wird bei einem einzelnen ML Modell auch keine Benutzererfahrung für z.B. Marketingzwecke gesammelt, wie bei LLMs, also ist es eigentlich nur ein lokal laufendes Programm.
 
  • Interessant
  • Gute Antwort
Reaktionen: Knutorius und ModulationMatrix
  • #19
Finde ich ein cooles Projekt!
Ich hab aber generell Probleme von KI generierte Software laufen zu lassen. Am Ende weiß doch keiner *genau* was die unter der Oberfläche macht, was da für Bugs drin sind, die im schlimmsten Fall sogar Schaden anrichten können. Oder?
Hot take: Auch menschliche Entwickler (grad bei so kleinen Softwareprojekten) machen Fehler und/oder Wissen nicht genau, was unter der Haube passiert (StackOverflow regelt(e) halt oft :D)
 
  • #20
Für eine VST3 Hülle würde sich das JUICE Framework empfehlen, wo ich einen Build via cmake bevorzugen würde...
 

Neue Antworten


Zurück
Oben