beste STEM Separation am Markt?

  • Ersteller ModulationMatrix
  • Erstellt am
Ich habe eben weil es mich interessiert hat ebenfalls mit Demucs V4 die Vocals Isoliert, das Ergebnis ist sogar noch etwas besser als in dem Video, das könnte allerdings auch daran liegen das ich die CD rausgekramt hatte und kein mp3 benutzt habe.
 
Ich glaub man muss auch einfach gucken was am Ende rauskommt und ob es in die potentielle Produktion einzubauen ist, ohne das man die Artefakte großartig in der Form raushört, dass es (einen selbst) stören würde. Ob der Remix / das Ergebnis dann bei jmd. anderem ankommt ist ne andere Frage ;).
 
wenn du bessere ergebnisse rausholen möchtest, kannst du beide ai-applikationen auch selber trainieren
Das Problem der Anwender ist in der Regel, dass man nicht wirklich Trainingsmaterial hat, wenn das Instrumental und Acapella einem nicht vorliegen.
 
Ich möchte auch noch einmal betonen da ich das bereits bei diversen Projekten genutzt habe:

Irgendwelche Artefakte waren NIE das Problem, problematisch waren immer Hall Effekte die ja drinnen bleiben.

Leider funktionieren da auch keine Dereverbartoren, das macht die Vocals dann wirklich völlig kaputt.
 
@Lacunaflow Es kommt immer auf das Ausgangsmaterial an, wie gut die Qualität bei der Stem Erkennung ist.
Wenn man dann den Schritt noch weitergeht, und aus separierten Vocals ein Stimmen Modell mit z.B. RVC erstellen will, muss das Ausgangsmaterial qualitativ sehr hochwertig sein, weil das Audio sonst im Stimmenmodell nur noch erkennbar mit Artefakten ausgegeben wird.
btw. https://x-minus.pro/ai separiert auch recht gut
 
Das Problem der Anwender ist in der Regel, dass man nicht wirklich Trainingsmaterial hat, wenn das Instrumental und Acapella einem nicht vorliegen.
das trainingsmaterial findest du bei den freien stemanbietern.
kannst aber auch dein eigenes material verwenden.

bei den standard modellen wurden die stems solcher abieter wie https://cambridge-mt.com/ms/mtk/ verwurstet.
 
Unabhängig vom eigentlichen Thema (sorry): furchtbar .Schreckliche fx.
Hat aber nix mit dem Thema isolation von vox & Co zu tun, nur mit meiner Aversion gegen Phil Collins. So "nackt" ist es halt noch schlimmer, seine Stimme zu hören🤣😅
Bitte vergiß nicht: Diese solo hörbaren "schrecklichen FX" sind im Originalsong massiv im Playback eingebettet. Und da helfen sie der Stimme halt dabei, im Vordergrund zu bleiben.

Und was den Stimmcharakter an sich angeht, da scheiden sich halt immer die Geister und Geschmäcker. Gut so, weil sonst wäre Mucke ja insgesamt bloß langweilig ... ;)

Darüber hinaus möchte ich noch etwas mir ganz Wichtiges anmerken:
Bei solchen "Bloßstellungen" erkennt der geneigte Zuhörer, das selbst Weltstars auch nur Menschen sind. Und ob eine Stimme im Zusammenhang mit der Musik dazu in der Lage ist, Emotionen zum Hörer zu transportieren, das entscheidet letztlich der persönliche Geschmack.

Mir z.B. rollt´s eher bei "Madonna" die Fußnägel auf ...:LOL:
 
Danke in die Runde für den feinen Überblick!

Ich hab mich im vergangenen Jahr schon intensiver mit dieser Problematik befasst, weil ich alte 2Spur-Mitschnitte etwas aufpäppeln wollte. Da das aber Rock ist - und kein Minimalpop mit schmaler Instrumentierung, wie heute im Mainstream üblich - waren die erzielbaren Ergebnisse in Sachen Stem-Separation bislang eher enttäuschend.

Andererseits freue ich mich darüber, daß der menschliche Hörsinn per "natürlicher Intelligenz" wohl noch ein paar bis viele Jahre jeglicher KI überlegen bleiben wird, weil wir uns - per Konzentration auf Stimmen und/oder einzelne Instrumente - per Hirnkasterl die Artefakte und Dropouts latenzfrei einfach weg oder dazu "denken" können ... :)
 
Ich habe eben weil es mich interessiert hat ebenfalls mit Demucs V4 die Vocals Isoliert, das Ergebnis ist sogar noch etwas besser als in dem Video, das könnte allerdings auch daran liegen das ich die CD rausgekramt hatte und kein mp3 benutzt habe.
Das wäre natürlich eine Fehlerquelle wo ich auch mal vergleichen muss, schrottiger Youtube Rip oder 320k gekauftes mp3.

Ansonsten hab ich meinen oben genannten Track mal in melody.ml geschmissen und ich muss sagen, das ist deutlich besser geworden als was VirtualDJ daraus gemacht hat. Die Drums kommen ziemlich trocken und knackig raus. Allerdings auch Drums komplett auf einer Spur, VirtualDJ hat ja noch versucht Bassdrum und Hihat zu trennen, was nicht gut gelang.
Die Bass/Vocals/Other Spuren enthalten schon an etlichen Stellen einigen Matsch, der Gesamtklang stimmt aber einzeln bearbeitet werden da die Schwächen deutlich.
 
Ich habe eben weil es mich interessiert hat ebenfalls mit Demucs V4 die Vocals Isoliert, das Ergebnis ist sogar noch etwas besser als in dem Video, das könnte allerdings auch daran liegen das ich die CD rausgekramt hatte und kein mp3 benutzt habe.
Ich werde mir auch mal die CD bestellen und vergleichen. Ich hab es gestern nochmal mit einem 320er MP3 der Remastered Version bei Lalal versucht, diesmal mit „Processing Level: Mild“. Da war das Ergebnis ähnlich, wie das oben von Splitmysong.
 
Hallo zusammen,
ich bin zufällig über diesen Thread gestolpert und möchte auch einige Worte dazu beitragen:

Ich glaub man kann das so schon zusammenfassen, Spielerei ja, und hängt natürlich alles noch stark vom Ausgangsmaterial ab, aber STEMS in Studioqualität sind einfach nicht möglich.

Korrekt. Stems in 1:1-Studioqualität bekommt man nur auf eine Art und Weise: Die originalen Recordings besorgen. ;)
Alles andere ist mehr oder weniger Wunschdenken. Keine KI kann aus einem dichten Mix wieder die Ursprungsdaten separieren, das sollte einem jedoch auch vorher klar sein. Je nach Komplexität und Qualität der Aufnahme kommen dennoch teilweise überraschend gute Ergebnisse heraus, manchmal auf Anhieb, manchmal mit reichlich Herumprobieren.

Ich habe eben weil es mich interessiert hat ebenfalls mit Demucs V4 die Vocals Isoliert, das Ergebnis ist sogar noch etwas besser als in dem Video, das könnte allerdings auch daran liegen das ich die CD rausgekramt hatte und kein mp3 benutzt habe.
Das wäre natürlich eine Fehlerquelle wo ich auch mal vergleichen muss, schrottiger Youtube Rip oder 320k gekauftes mp3.

Ansonsten hab ich meinen oben genannten Track mal in melody.ml geschmissen und ich muss sagen, das ist deutlich besser geworden als was VirtualDJ daraus gemacht hat. Die Drums kommen ziemlich trocken und knackig raus. Allerdings auch Drums komplett auf einer Spur, VirtualDJ hat ja noch versucht Bassdrum und Hihat zu trennen, was nicht gut gelang.
Die Bass/Vocals/Other Spuren enthalten schon an etlichen Stellen einigen Matsch, der Gesamtklang stimmt aber einzeln bearbeitet werden da die Schwächen deutlich.

Wichtiges Thema: Für die Stem-Separation NIEMALS eine Ausgangsdatei nutzen, die mit einem verlustbehafteten Verfahren komprimiert wurde. Immer nur WAV, FLAC oder ähnliches, darf auch gern hochaufgelöst sein.

Wenn man ein wenig darüber nachdenkt, wie die anderen Encoder (MP3, OGG, usw) arbeiten, kommt man auch schnell drauf: Dort werden ja beispielsweise leise Töne, die von lauteren überdeckt werden und dadurch ohnehin praktisch unhörbar sind, komplett eliminiert. Ebenso werden Frequenzbänder unterschiedlich behandelt und auch hier wieder Frequenzen, die im Mix untergehen, ausradiert. Es gehen also Informationen unwiederbringlich verloren, die man aber für das Separieren von Stems benötigt. Insofern klingt das Ergebnis bei MP3 praktisch immer schlechter als bei FLAC. Je nach Komplexität des Mixes mal mehr, mals weniger.

Bassdrum, Hihat und andere perkussive Instrumente sauber voneinander zu trennen ist ein absoluter Glücksfall und klappt so gut wie nie. Da stoßen die Modelle halt an ihre Grenzen. Eine gemeinsame Drum-Spur auszugeben funktioniert mittlerweile jedoch recht gut, das war in den Anfängen noch ganz anders.

Aus meinen eigenen Tests kann ich neben den bereits erwähnten vor allem mvsep.com wärmstens empfehlen. Dort gibt es einen ganzen Haufen unterschiedlichster Modelle zum Ausprobieren. Je nach Song klingt man das eine, mal das andere besser. Durch die Fülle an Einstellmöglichkeiten bekommt man mit etwas Geduld sehr oft gute Ergebnisse heraus. Es gibt dort auch ganz verrückte Dinge wie einen Crowd-Filter, um das Publikum bei Liveaufnahmen auszublenden o_O

Den von @ModulationMatrix erwähnten Song habe ich mal fix durchgejagt (in der Youtube-Qualität) und fand das Ergebnis echt okay. Auch Phil Collins wurde ziemlich gut abgeliefert, je nach Modell sogar mit kaum hörbarer Gitarre.
Was ich dort noch nicht angetestet habe sind die Premium-Modelle, bislang war ich noch zu geizig, mir dafür Credits zu kaufen. Aber kommt sicher auch noch, die Neugierde ist schon mal da.

Insgesamt kann man sagen: Unkomprimiertes Ausgangsmaterial und Geduld (beim Testen der verschiedenen Modelle) sind fast immer der Weg zum Erfolg.
 
Wichtiges Thema: Für die Stem-Separation NIEMALS eine Ausgangsdatei nutzen, die mit einem verlustbehafteten Verfahren komprimiert wurde. Immer nur WAV, FLAC oder ähnliches, darf auch gern hochaufgelöst sein.

Wenn man ein wenig darüber nachdenkt, wie die anderen Encoder (MP3, OGG, usw) arbeiten, kommt man auch schnell drauf: Dort werden ja beispielsweise leise Töne, die von lauteren überdeckt werden und dadurch ohnehin praktisch unhörbar sind, komplett eliminiert. Ebenso werden Frequenzbänder unterschiedlich behandelt und auch hier wieder Frequenzen, die im Mix untergehen, ausradiert. Es gehen also Informationen unwiederbringlich verloren, die man aber für das Separieren von Stems benötigt. Insofern klingt das Ergebnis bei MP3 praktisch immer schlechter als bei FLAC. Je nach Komplexität des Mixes mal mehr, mals weniger.
Genau den Gedanken hatte ich auch schon. Hat das mal jemand verglichen, wie gut die Separation bei MP3 320 Kb/s klappt vs. Wave? Würde mich echt interessieren...
 
Genau den Gedanken hatte ich auch schon. Hat das mal jemand verglichen, wie gut die Separation bei MP3 320 Kb/s klappt vs. Wave? Würde mich echt interessieren...
Einfach selbst ausprobieren. Kostet doch nix außer Zeit. Meist klappt es mit MP3 recht gut, tendenziell halt mit mehr Artefakten und weniger feinen Details. Ist halt wirklich von Track zu Track sehr unterschiedlich.
 
Ich finde, oft klingen die Stems wie schlechte MP3s zu Napster-Zeiten. Oder wie nach der Bearbeitung mit einem alten Denoise-Algo. Hin und wieder ganz brauchbar (ich kenne nur RipX und das neueste Spectral Layers), doch streng genommen immer noch ziemlicher Schrott. Doch wie gesagt, schwankt stark und nicht immer stört es gewaltig. Muss man gucken.
 
Habe aufgrund dieses Threads mal fix was mit DEMUCS_FT gemacht.

Stimme extra leise mit viel Rauschen, ab ca. der mitte geht Hall per Automation drauf.

Original:


Erstellt aus dem Wav file:


Erstellt aus der 128kb CBR mp3:
 
Ja genau, siehe weiter unten auf der Seite:

  • htdemucs_ft: fine-tuned version of htdemucs, separation will take 4 times more time but might be a bit better. Same training set as htdemucs.
 
Ich finde, oft klingen die Stems wie schlechte MP3s zu Napster-Zeiten. Oder wie nach der Bearbeitung mit einem alten Denoise-Algo. Hin und wieder ganz brauchbar (ich kenne nur RipX und das neueste Spectral Layers), doch streng genommen immer noch ziemlicher Schrott. Doch wie gesagt, schwankt stark und nicht immer stört es gewaltig. Muss man gucken.
Das fasst den Status Quo gut zusammen!
 

Ähnliche Themen

twinnpeaks
  • Artikel
Testberichte Test: Bitwig Studio
Antworten
2
Aufrufe
33K
twinnpeaks
twinnpeaks
Traumwandler
Antworten
80
Aufrufe
18K
KoolKolle
KoolKolle
M
Antworten
0
Aufrufe
37K
M

Oft gelesene Themen

Zurück
Oben