beste STEM Separation am Markt?

  • Ersteller ModulationMatrix
  • Erstellt am
ModulationMatrix

ModulationMatrix

Registriert
10.09.13
Beiträge
16.825
Reaktionen
8.850
Punkte
43.907
Moin Loide,

was issn so die beste STEM Separation am Markt? Taugt das mittlerweile wirklich oder bleibt es Spielerei?

Ich hab MOISES probiert, die Quali ist je nach Song halbwegs okay bis nicht wirklich okay. Die STEMS sind oft voll mit Artefakten und die Transienten klingen gülle. Wenn man alles zusammenfügt klingt es aber wieder okay. D.h. solange man nicht wirklich eine STEM-Spur komplett ausblendet oder zu starke Bearbeitungen vornimmt kann das Ergebnis schon okay klingen. Aber mit echten STEMS, mit denen man machen kann was man will, ist es überhaupt nicht zu vergleichen.

Es gibt ja noch MOISES Pro bzw. Hi-Fi STEM Separation, hat das mal jemand probiert? Kostet über 300€ im Jahr.

Ansonsten scheint mir Virtual DJ ne ganz passable Engine an Bord zu haben, aber auch da gibts je nach Song tonnenweise Artefakte.

Also, gibts noch was besseres irgendwo? Oder ist das unzureichende eben der Stand der Technik?
 
Izotope RX ist ganz brauchbar. Ganz artefaktfrei geht es bisher nie.
 
Acon Digital ReMix kann man noch checken. Ist auch gerade im Sale (wie das meiste Zeugs aktuell).

acondigital.com

Remix – Acon Digital

Acon Digital Remix is a plug-in that lets you separate and remix vocals, piano, bass, drums and other instruments in real time. Remix is available for PC and Macintosh and supports the VST, VST3, AAX and AU plug-in formats. Both 32 bit and 64 bit versions are available.
acondigital.com acondigital.com

Aber ohne Artefakte ist das unmöglich. Ich finde das Tool ganz nützlich um beim Referenzhören Signale mal auf Solo zu bekommen, so dass man sich anhören kann, wie der Bass im Referenzsong genau klingt oder die Kick usw.
 
Ich hab mal "RipX DAW" getestet und das taugt auch nur halbwegs, so wie du schon beschreibst (Artefakte usw.).
Soll laut "Hörensagen" in dem Bereich mit zu den besseren Programmen gehören.
Mein Fazit: die Technik ist noch nicht so weit, für Spielereien ist es bereits okay.

hitnmix.com

RipX DAW & RipX DAW PRO

RipX DAW Award Winning 6+ Stem AI Separation, Edit Stems Note by Note Even AI Generated Music, Unparalleled Remixing Capability, Instrument Replacement. RipX DAW PRO Enhanced Stem Clean Up, Top Tier Audio Repair and Effects, Audioshop Advanced Creative Tools.
hitnmix.com hitnmix.com
 
Qualitativ am besten gefällt mit derzeit das Software Project demucs:

python3 -m pip install -U git+https://github.com/facebookresearch/demucs#egg=demucs

Es war schon ein bemerkenswert, wie gut die Vocalspur da herauskam (hab ich an den Tapeaufnahmen vom letzten John Lennon Tape durchgeführt). Leider habe ich es bei dem Projekt noch nicht hinbekommen, dies auf der GPU laufen zu lassen, aber mit 16 CPU Cores läuft das auch schon geschmeidig.

Als ich zuletzt mit AconDigital Acoustica eine Stem Separation durchgeführt habe, war die Qualität noch so, wie bei Deezers Spleeter Projekt. Ich muss aber dazu sagen, daß da gerade ein Update des Programmes rausgekommen ist, wo vielleicht Verbesserungen enthalten sind.

Bei iZotope RX 10 Advanced hab ich die Stem Separation noch nicht ausprobiert. Die Toolbox nutze ich eher für andere Sachen.

Interessant finde ich den Ansatz bei Steinberg Spectral Layers 10, zumindest, wenn man innerhalb einer Audiodatei an einem der separierten Layer Änderungen vornehmen möchte. Zum Beispiel kann man die Drums raus separieren und dann nochmal die einzelnen Toms daraus heraus separieren. Wenn es darum geht, z.B einer bestimmten Tom mehr Punch zu verleihen, ist das ein gangbarer Weg.
Eine einzeln heraus separierte Vocal Stimme hatte aber Artefakte.
 
Joost schrieb:
Qualitativ am besten gefällt mit derzeit das Software Project demucs:

python3 -m pip install -U git+https://github.com/facebookresearch/demucs#egg=demucs

Es war schon ein bemerkenswert, wie gut die Vocalspur da herauskam (hab ich an den Tapeaufnahmen vom letzten John Lennon Tape durchgeführt). Leider habe ich es bei dem Projekt noch nicht hinbekommen, dies auf der GPU laufen zu lassen, aber mit 16 CPU Cores läuft das auch schon geschmeidig.

Als ich zuletzt mit AconDigital Acoustica eine Stem Separation durchgeführt habe, war die Qualität noch so, wie bei Deezers Spleeter Projekt. Ich muss aber dazu sagen, daß da gerade ein Update des Programmes rausgekommen ist, wo vielleicht Verbesserungen enthalten sind.

Bei iZotope RX 10 Advanced hab ich die Stem Separation noch nicht ausprobiert. Die Toolbox nutze ich eher für andere Sachen.

Interessant finde ich den Ansatz bei Steinberg Spectral Layers 10, zumindest, wenn man innerhalb einer Audiodatei an einem der separierten Layer Änderungen vornehmen möchte. Zum Beispiel kann man die Drums raus separieren und dann nochmal die einzelnen Toms daraus heraus separieren. Wenn es darum geht, z.B einer bestimmten Tom mehr Punch zu verleihen, ist das ein gangbarer Weg.
Eine einzeln heraus separierte Vocal Stimme hatte aber Artefakte.
Zum Vergrößern anklicken....

Also die Demos auf der demucs Seite klingen alle Gülle muss ich sagen. Ich glaub man kann das so schon zusammenfassen, Spielerei ja, und hängt natürlich alles noch stark vom Ausgangsmaterial ab, aber STEMS in Studioqualität sind einfach nicht möglich.

Hab gerade mal diesen Track durch Virtual DJ geschoben, HQ STEMS im Voraus berechnen lassen, da ist der 16 Core auch ordentlich beschäftigt gewesen. Das Ergebnis ist trotzdem Mist, die DrumnBass Hihats kriegt er nicht separiert.


View: https://www.youtube.com/watch?v=rkjNL4dX-U4
 
ModulationMatrix schrieb:
Also die Demos auf der demucs Seite klingen alle Gülle muss ich sagen. Ich glaub man kann das so schon zusammenfassen, Spielerei ja, und hängt natürlich alles noch stark vom Ausgangsmaterial ab, aber STEMS in Studioqualität sind einfach nicht möglich.
Zum Vergrößern anklicken....

Also bei Popmusik kriegt man bei melody.ml je nach Vorlage auch einzelne Stems, bei denen man das Gefühl hat, man hat wirklich die Original Files bekommen. Das ist schon krass und vor ein paar Jahren noch undenkbar gewesen.

Moonlight Shadow hatte ich damals ausprobiert, als ich über den Dienst gestolpert bin, das lag grade auf der Platte und hat erstaunlich gut funktioniert.
 
Ich selbst nutze bislang nur LALAL.AI. Kommt dabei immer auf das Eingangsmaterial an. Mit manchen Tracks funktioniert es ganz gut, mit anderen wird's nie richtig sauber.

Ich hatte auch schon mal den Fall, dass ich einen Track mit 2 unterschiedlichen Algorithmen separiert habe. An einer Stelle hat der besser funktioniert, der wiederum bei den meisten anderen Stellen nicht sauber klingt. Dann habe ich mit einem Schnitt aus beiden gearbeitet.

Nach bisheriger Erfahrung damit würde ich sagen, der Reinheitsgrad des Ergebnisses ist meist Zufall. Bei Vocal-Spuren habe ich oft das Problem, dass der Algorithmus nicht zwischen Frequenzen unterscheiden kann, die zeitgleich in Instrumenten und Stimme vorkommen. Und oft gehen auch Konsonanten kaputt, weil der Algo sie für Hihats oder Shakers hält.

Wenn ich Drums extrahiere, sind meist nur einzelne Hits isoliert zu gebrauchen, weil sich die Qualität der Transienten unter den Vorkommnissen mitunter sehr stark unterscheidet und es tritt immer vor den Hits ein „Pre-Ringing“ auf, wie man es von linearphasigen Equalizern kennt – was ich eigentlich als eigenständigen Effekt wahrnehme.
 
Solo klingen die Spuren immer komisch, das wird wohl auch immer so sein.

Meine Erfahrung mit Vocal Spuren ist jedoch dass wenn man nicht gerade eine Ballade macht das im Mix praktisch nicht mehr zu hören ist.
 
Habe gerade nochmal einen Versuch gestartet, die Vocals von Phil Collins, „In The Air Tonight“ zu extrahieren. Taugt für meinen Geschmack nicht. Artefakte sind zwar im Mix nicht hörbar, aber die Sprachverständlichkeit hat sehr gelitten – der gute Mann bekommt kein "F" sauber ausgesprochen. Das ist für mich inakzeptabel. Es ist einfach unter der Qualität, die jemand gewohnt ist, wenn er die Originalversion kennt. Und ich frage mich, wie das ein „Native Speaker“ findet, wenn ich schon nicht zufrieden bin.
 
…Ich glaube, das ist der Trick bei der Sache: Man muss es mit allen verfügbaren Algorithmen versuchen und die menschliche Intelligenz hinzunehmen, um zu entscheiden, für welche Parts man welche Variante nimmt.
 
Lacunaflow schrieb:
Ist nicht von mir, aber klingt doch ok?!
Zum Vergrößern anklicken....
Unabhängig vom eigentlichen Thema (sorry): furchtbar .Schreckliche fx.
Hat aber nix mit dem Thema isolation von vox & Co zu tun, nur mit meiner Aversion gegen Phil Collins. So "nackt" ist es halt noch schlimmer, seine Stimme zu hören🤣😅
 
die kommerziellen tools beruhen meiner info nach alle entweder auf deezer spleeter (zb. izotope rx)
oder auf demucs (zb. spectral layers oder melody.ml).
beide sind auf github frei verfügbare applikationen.

bei den mitgelieferten frei verfügbaren vortrainierten modellen hat demucs eindeutig die nase vorn.
wenn du bessere ergebnisse rausholen möchtest, kannst du beide ai-applikationen auch selber trainieren.
dazu brauchst du dann aber auch sehr gute hardware, ne unmenge an audio-stem-daten und viel zeit.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.

Ähnliche Themen

tim_heinrich
    • Danke
  • Artikel
Testberichte iZotope RX 11 Restauration Next-Level
Antworten
0
Aufrufe
2K
tim_heinrich
tim_heinrich
twinnpeaks
  • Artikel
Testberichte Test: Bitwig Studio
Antworten
2
Aufrufe
34K
twinnpeaks
twinnpeaks
Traumwandler
Das beste VST-Piano
3 4 5
Antworten
80
Aufrufe
19K
KoolKolle
KoolKolle
M
  • Artikel
Testberichte Native Instruments Kore Soundpacks Synthetic Drums Reloaded & Best Of Massive
Antworten
0
Aufrufe
16K
ml
M
M
  • Artikel
Testberichte Apple Logic Studio - Logic Pro 8
Antworten
0
Aufrufe
38K
ml
M

Neue Antworten


Oft gelesene Themen

Zurück
Oben