@stoman
Super Beispiele von dir hier, klingt gut und vermittelt Infos über Herangehensweise, Aufwand, Möglichkeiten.
Ich versuche gerade, mir einen Überblick zu verschaffen über das Thema und die ganzen Infos, die hier und in diversen YouTube-Videos rumschwirren, zu ordnen und für mich zu gewichten (welche Herangehensweise ist für mich interessiert, was lässt sich mit welchem Aufwand umsetzen, was ist das jetzt überhaupt, was irgendjemand in einem Video zeigt).
Im Kopf hab ich jetzt folgende Themen/Begriffe:
1) AI-Modell,
das, was du von deiner Partnerin erstellt hast oder
@Fabfabian von John Mayer oder irgendjemand anders im Internet von einem meist berühmten, oft schon verstorbenen Sänger (Sinatra, Mercury,...).
Die Werkzeuge zum Erstellen wären diese hier:
SVC,
RVC
2) TTS (Text to Speech),
schon länger existierende Grundidee, über die geschriebene Texte in gesprochene Sprache umgewandelt werden, wo die Möglichkeiten sich jetzt aber weiterentwickeln, wo bspw. der Text gerappt ausgegeben wird oder wo (wie bei Synthesizer V) über eine Art Piano-Roll-Darstellung Melodie und Rhythmus definiert werden können.
3) SVC (Singing Voice Conversion, die Abkürzung hab ich erst gestern entdeckt),
auch eine Möglichkeit, ein AI-Modell nach eigenen Vorgaben singen zu lassen, aber ganz anders:
Audio-Aufnahme eines "Source Singers" (bspw. man selbst) wird umgewandelt in Aufnahme eines "Target Singers" (irgendein AI-Modell).
Sonst was? Gerne ergänzen!
Paar Fragen und Gedanken:
Ich bin mal einen Schritt weiter gegangen und habe ein AI-Modell von der Stimme meiner besseren Hälfte erstellt. Leider haben wir erst zwei Lieder miteinander gemacht, daher ist das Quellmaterial etwas dürftig, aber das Ergebnis ist dennoch schon sehr ordentlich.
...
Den ursprünglichen Gesang habe ich mit Synthesizer-V "Natalie" erstellt und dann mit Hilfe meines AI-Modells konvertiert.
Das wär für meine Logik eine Kombination aus 1 und 2.
Könnte man mit 3 (durch eigenes Einsingen einer Vorgabespur) nicht schneller zum Ziel kommen?
Wie lange brauchst du denn circa, um die ganzen Punkte und Texte im Raster (also dieser Piano-Roll-Darstellung) von Synthesizer V zu setzen? Gibt es sonstige Vor- oder Nachteile gegenüber 3?
Naja, "mal eben" ging das nicht. Man muss schon das Quellmaterial schön in passende Häppchen aufteilen und darauf achten, dass alles einigermaßen gleichmäßig in punkto Dynamik und Klangqualität ist - und dann muss man den Rechner lange genug rechnen lassen. Ich habe in diesem Fall etwa 24 Stunden rechnen lassen, weil ich nicht mehr Zeit hatte.
Das ist eine wertvolle Praxis-Information zum Thema "Aufwand".
Hat man aber dann einmal ein Modell erstellt, kann man damit in sehr kurzer Zeit (maximal ein paar Minuten) eine Gesangsspur konvertieren. Es gibt auch im Netz schon so einige Modelle. Die allermeisten sind Müll, aber es gibt auch ein paar, die recht ordentlich gelungen sind, weil sie aus Originalspuren generiert wurden und nicht von artefaktbehafteten "Ripps". Ich habe, zum Spaß, auch mal ein paar meiner Lieder posthum vom Herrn Sinatra singen lassen.
Vom hier geposteten Stück mit deiner Partnerin könntest du also jetzt mit geringem Aufwand diverse Versionen mit anderen Sängern machen? Ich hab jetzt noch nicht selber im Detail gesucht. Gibt es da ein paar wenige große Download-Seiten für AI-Modelle oder sind die wild verstreut?
Und wenn unter einem YouTube-Video druntersteht "Model: Freddie Mercury 300k, Lossless Download (FLAC):..." ist das dann das AI-Modell, das man sich runterladen kann?
Es gibt da zwei prinzipielle Software-Werkzeuge: So-Vits-SVC und RVC. Ich nutze i.d.R. Letzeres.
Da ich in den letzten Urlaubsvorbereitungen stecke (heute Abend geht's los), kann ich nicht viel Zeit für Erklärungen aufbringen, aber die folgenden Links sollten reichen, damit Du selbst weiterkommst:
SVC
RVC
Es gibt auch zahlreiche YouTube-Links dazu.
Angefangen reinzuschauen, braucht aber schon etwas Zeit und Konzentration
