Spektrales aufhübschen von Recordings

J

Joost

Registriert
09.07.22
Beiträge
1.229
Reaktionen
929
Punkte
4.134
Moin,

ich bin mir nicht so sicher, ob dies in diesen Forumskanal gehört, aber mich würde mal interessieren, ob einer von Euch sich schon mit folgendem GitHub Projekt beschäftigt hat:


Im Prinzip ist das nichts Anderes, als das Spectral Repair Feature in Izotope RX Advanced. Es ist ein Python Projekt, mit dem man fehlende Infos in einem Wave Signal per Machine Learning hineinrechnen kann (Upsampling), um vom Frequenzband verhunzte Aufnahmen aufzuhübschen. Das Projekt ist wohl aus einer Universitätsarbeit entstanden und hat eine MIT Lizenz (also offen).

Das auf GitHub angebotene beinhaltet einen Link auf RAW Daten, mit welchen man das ML Modell trainieren kann. Leider gibt es kein PreTrainedModel, es bedeutet also Arbeit, wenn man das für sich nutzen möchte.
 
Wenn man bedenkt was momentan bei KI Bilderstellung / ChatBots, etc los ist, sind das leider eher ernüchternde Ergebnisse...

Aber gut, sind ja nur die Ergebnisse eines Papers (von 2017!)
 
Was in der Art gibt es doch schon als Plugin. Gullfos. Weg ist der Muff, der Grauschleier und Transienten sind blitzeplank poliert.... (;
 
Nein, GullFoss ist zwar sehr Cool aber es ist etwas komplett Anderes. GullFoss ist eher als angelernter EQ zu bezeichnen. Spectral Repair oder auch diese Projekt rechnet Frequenzen hoch und erweitert das Frequenzspektrum. Damit löst die Aufnahme auch höher auf.
 
Moin,

ich bin mir nicht so sicher, ob dies in diesen Forumskanal gehört, aber mich würde mal interessieren, ob einer von Euch sich schon mit folgendem GitHub Projekt beschäftigt hat:


Im Prinzip ist das nichts Anderes, als das Spectral Repair Feature in Izotope RX Advanced. Es ist ein Python Projekt, mit dem man fehlende Infos in einem Wave Signal per Machine Learning hineinrechnen kann (Upsampling), um vom Frequenzband verhunzte Aufnahmen aufzuhübschen. Das Projekt ist wohl aus einer Universitätsarbeit entstanden und hat eine MIT Lizenz (also offen).

Das auf GitHub angebotene beinhaltet einen Link auf RAW Daten, mit welchen man das ML Modell trainieren kann. Leider gibt es kein PreTrainedModel, es bedeutet also Arbeit, wenn man das für sich nutzen möchte.
das klingt spannend, danke für den tip, werd ich bei gelegenheit mal auschecken!

Was in der Art gibt es doch schon als Plugin. Gullfos. Weg ist der Muff, der Grauschleier und Transienten sind blitzeplank poliert.... (;

meine empfehlungen in der richtung wären:
dseq3 -> besser als soothe2
teote -> besser als gulfoss
 
Zuletzt bearbeitet:
Izotope hat auch soetwas in RX 10 Advanced:
https://www.izotope.com/en/products/rx/features/spectral-recovery.html
Anscheinend haben die auch nur Sprach Samples genutzt, zumindest ist das Beispiel im Video ein solches.
Das Anlernen des ML Modells mit Musik scheint wohl zeitaufwändiger und mehr Rechenzeit beim Anlernen zu benötigen.
Ich kann mir vorstellen, daß das Izotope beim Entwicklungsaufwand zu teuer war. Umsetzbar ist das.

Wie ich in einem anderen Thead bereits erwähnte, gibt es auch von NVIDIA eine solche Anwendung (incl. Sourcen auf GitHub):
Nvidia Maxine Audio (Entwicklung für Nvidia Broadcast)
Leider auf 16 khz Mono Samples beschränkt, welche dann aber auf 48 khz hochgerechnet werden. Dabei ist das kein reines Resampling, sondern es werden die fehlenden Frequenzen hinzugerechnet. Funktioniert gut, wenn man sowieso nur alte MP3 Aufnahmen aus Anfang der 80er in die Neuzeit retten will. Da macht es auch nichts, wenn man zuerst das 44,1 khz sample in zwei Monospuren aufsplitten muss, diese dann auf 16 khz down zu Samplen, um das Resultat dann durch Maxine durchzujagen und danach dann die beiden entstehenden Aufnahmen dann wieder zu einer Stereodatei zusammenzubringen.
 
Anscheinend haben die auch nur Sprach Samples genutzt, zumindest ist das Beispiel im Video ein solches.
Ja, ist auch explizit dafür gedacht, Interviews und Remote Aufnahmen die mit Lissy Codecs gemacht wurden brauchbarer zu machen, da ist man mit EQs oft nicht im Stande wirklich etwas zu retten.
Allerdings funktioniert das mit deutsch auch selten wirklich gut. Und für englisch ist fraglich wie sinnvoll das ist - letztlich werden Töne oberhalb von 11, 14 oder 16KHz generiert - das ist bei deutsch schon der Bereich den man bei Sprache eher zu viel als zu wenig hat und bei Englisch braucht es den quasi garnicht.
 
@rocking.xmas.man
Das dachte ich mir auch so. Daher hat RX 10 Advanced für mich keinen wirklichen Mehrwert gegenüber der Standard Version mehr und ich meine, ich spare mir die Investition. Wobei ich die Toolsammlung RX eigentlich recht gut finde. Bei der Spektralbearbeitung wechsel ich oft zwischen RX und AconDigital Acoustica hin und her.
 

Ähnliche Themen

abogner
  • Artikel
Testberichte iZotope RX Advanced
Antworten
2
Aufrufe
46K
matze74
M
M
  • Artikel
Testberichte iZotope RX Advanced
Antworten
0
Aufrufe
36K
M

Oft gelesene Themen

Zurück
Oben