Stimme mit AI von einer Person imitieren und diese singen lassen? (YT Beispiel)

  • Ersteller Schludi
  • Erstellt am
Schludi

Schludi

Registriert
13.11.05
Beiträge
5.150
Reaktionen
2.637
Punkte
13.607
  1. Ich wollte mal fragen ob jemand weiß, wie man so etwas hinbekommt?
  2. Ist das ein freies oder käufliches Tool?
  3. Kriegt man das in ne DAW?
  4. Was ist der Input?
  5. Wie lange muss man trainieren?
  6. Wie bekommt man die Melodie hin?


View: https://www.youtube.com/watch?v=wasudwVyeLs

Nachtrag:
Habe in den Kommentaren ein Link zu einem Tutorial von dem Kanal-Eigentümer gefunden:

View: https://www.youtube.com/watch?v=D2p6MoBbkoY

Außerdem hat er geschrieben, es wäre nicht ganz so einfach, er müsste zuerst ein Modell trainieren und dann selber singen.
 
Zuletzt bearbeitet:
Es gibt Machine Learning Projekte, wie z.B. RVC https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main
Vorbedingung: Man hat die Programmiersprache Python installiert
Ich hatte mir die RVC Beta heruntergeladen und ausgepackt. Dann per Python die Abhängigkeiten auflösen lassen
Danach kann man per go_web.bat die Webanwendung starten und im Browser lokal aufrufen.

Dort kann man mehrere WAV Dateien mit der Zielstimme (das müssen saubere Aufnahmen sein) zu einem Modell berechnen lassen, welches man in weiteren Schritten dann nutzen kann, um in einer eigenen WAV Aufnahme die Stimme gegen das errechnete Modell ersetzen kann. Hat man erst einmal ein Modell errechnet, gibt es in dem Umfeld auch Anwendungen, welche die Stimme sogar RealTime ersetzen können (man sollte dann aber schon eine gute Grafikkarte haben, welche dann die Berechnungen durchführt)

Die Berechnung eines Sprachmodells benötigt je nach Rechner und Qualitätsauflösung zwischen 10 Min. und mehreren Stunden Rechenzeit. Ich hab das mal anhand Tonaufnahmen meines Vaters gemacht und in einer Audioaufnahme meines Bruders den Gesang gegen die Stimme des Modells ausgetauscht. Das funktioniert eigentlich recht gut. Man sollte aber bei jedem Einzelschritt darauf achten, daß die Aufnahmequalität der Samples für das Modell, wie auch der Qualität der Samples, welche bearbeitet werden sollen stimmt und man sollte bei der Berechnung eher mit der Auflösung höher gehen, was dann natürlich mehr Rechenzeit für das Erstellen des Modells bedeutet.

Auf der huggingface Webseite gibt es auch Sammlungen fertiger Sprachmodelle
 
Es gibt Machine Learning Projekte, wie z.B. RVC https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main
Vorbedingung: Man hat die Programmiersprache Python installiert
Ich hatte mir die RVC Beta heruntergeladen und ausgepackt. Dann per Python die Abhängigkeiten auflösen lassen
Danach kann man per go_web.bat die Webanwendung starten und im Browser lokal aufrufen.

Dort kann man mehrere WAV Dateien mit der Zielstimme (das müssen saubere Aufnahmen sein) zu einem Modell berechnen lassen, welches man in weiteren Schritten dann nutzen kann, um in einer eigenen WAV Aufnahme die Stimme gegen das errechnete Modell ersetzen kann. Hat man erst einmal ein Modell errechnet, gibt es in dem Umfeld auch Anwendungen, welche die Stimme sogar RealTime ersetzen können (man sollte dann aber schon eine gute Grafikkarte haben, welche dann die Berechnungen durchführt)

Die Berechnung eines Sprachmodells benötigt je nach Rechner und Qualitätsauflösung zwischen 10 Min. und mehreren Stunden Rechenzeit. Ich hab das mal anhand Tonaufnahmen meines Vaters gemacht und in einer Audioaufnahme meines Bruders den Gesang gegen die Stimme des Modells ausgetauscht. Das funktioniert eigentlich recht gut. Man sollte aber bei jedem Einzelschritt darauf achten, daß die Aufnahmequalität der Samples für das Modell, wie auch der Qualität der Samples, welche bearbeitet werden sollen stimmt und man sollte bei der Berechnung eher mit der Auflösung höher gehen, was dann natürlich mehr Rechenzeit für das Erstellen des Modells bedeutet.

Auf der huggingface Webseite gibt es auch Sammlungen fertiger Sprachmodelle
Wenn man einen bestimmten Sänger imitieren möchte, bräuchte man seine Stimme vermutlich frei und ohne die Musik richtig? Da wird es vermutlich nicht genügen die Stimme mit splitter.ai oder irgendeinem Extrahier-Tool aus einem Mix zu separieren.

Die Realtime-Umrechnung wäre dann auch was für die Enkeltrick-Betrüger. Singen muss man dann allerdings schon selber wenn es Gesang sein soll? Das würde dann bedeuten dass man mit der Stimmfarbe einer Person einen echten Sänger einfärben kann, auch wenn die Original-Person gar nicht singen kann. In dem Video höre ich gute Intonation und Vibrato - der kommt dann von der Gesangs-Stimme, bevor diese eingefärbt wurde?

Muss man beim Training bestimmte Phrasen sprechen oder singen oder gibt man einfach Sprechschnipsel an die AI?

Mal angenommen ich wollte die Stimme von einem Sänger nachmachen der extrem hoch kommt (wie z.B. Eric Adams von Manowar) würde mir das wahrscheinlich nix bringen wenn ich selber nicht so hoch komme, weil ich die Stimme ja vorgeben muss bevor sie eingefärbt / umgerechnet wird oder?
 
Zuletzt bearbeitet:
Die Stimmen braucht man extrahiert, in sehr guter Qualität und frei von Musik.
Singen musst Du dann schon selber :)
Intonationen und Vibrato wird von Deiner Aufnahme übernommen
Man gibt nur sauber aufgelöste Sprechschnipsel in das ML Modell
Die Stimme meines Vaters klang bei der Aufnahme meines Bruders an manchen Stellen schon komisch, weil man seine Stimme weniger mit diesem Stimmumfang kannte....aber es funktionierte. Netterweise hatte ich ein (unveröffentlichtes) Gesangsstück meines Vaters für das Erstellen des ML Modells zur Verfügung, welches ich mit ihm vor langer Zeit mal zusammen in einem prof. Tonstudio aufgezeichnet hatte.
 
Ich warte jetzt auf die ersten Lebensimplantate. Alexa, implantiere mir das Leben von John Cleese.
 
Wenn man einen bestimmten Sänger imitieren möchte, bräuchte man seine Stimme vermutlich frei und ohne die Musik richtig? Da wird es vermutlich nicht genügen die Stimme mit splitter.ai oder irgendeinem Extrahier-Tool aus einem Mix zu separieren.

Die Realtime-Umrechnung wäre dann auch was für die Enkeltrick-Betrüger. Singen muss man dann allerdings schon selber wenn es Gesang sein soll? Das würde dann bedeuten dass man mit der Stimmfarbe einer Person einen echten Sänger einfärben kann, auch wenn die Original-Person gar nicht singen kann. In dem Video höre ich gute Intonation und Vibrato - der kommt dann von der Gesangs-Stimme, bevor diese eingefärbt wurde?

Muss man beim Training bestimmte Phrasen sprechen oder singen oder gibt man einfach Sprechschnipsel an die AI?

Mal angenommen ich wollte die Stimme von einem Sänger nachmachen der extrem hoch kommt (wie z.B. Eric Adams von Manowar) würde mir das wahrscheinlich nix bringen wenn ich selber nicht so hoch komme, weil ich die Stimme ja vorgeben muss bevor sie eingefärbt / umgerechnet wird oder?

Ich stelle mir gerade vor den Lindenberg mit der Stimme vom Dirkschneider. Ein Komet!
 
Im Hörbeispiel "griechischer Wein" ist nicht genügend Hagebuddne drin! :)
 
Tja ich fürchte da kann man einfach nur mal selber experimentieren wenn man Zeit hat o_O
 
Aus reiner Neugier hatte ich das auch schon probiert und trotz sauberem Quellmaterial immer wieder Artefakte und ein "klingt merkwürdig" festgestellt. Meine momentane Erkenntnis lautet daher: "Funktioniert noch nicht so wirklich."
Für kleine Spaß-Spielereien ist es aber okay, auch wenn man die Sinnhaftigkeit sicher infrage stellen darf.
 
Also ich find das oben vom Drachenlord schon beeindruckend, evtl. klingt es manchmal ein bissel harsch pappig nach YouTube-Video-Voice-Extrakt oder so aber ansonsten kommt das schon sehr nahe ... bis auf dass er vermutlich nicht mit der Intonation und dem Vibrato singen kann :D
 
Solche Gedächtnis-Implantate gibts doch bei Total Recall
 
Zuletzt bearbeitet:

Neue Antworten


Oft gelesene Themen

Zurück
Oben