AI John Mayer singt meinen Song

[Fabfabian]

Hallo zusammen.

Kontrovers, kontrovers. Ich hab's mal gewagt und einen meiner Songs von der AI-Stimme von John besingen lassen.
Das funktioniert für meine Ohren ziemlich gut. Erschreckend eigentlich, aber im Vergleich zu meiner Stimme hebt es die AI Stimme einfach auf ein neues Level.

Freu mich auf Feedback, wahrscheinlich werdet ihr mich verdammen und verbannen

LG


View: https://www.youtube.com/watch?v=40tExHKN6Q0

 

[jet2]

Freu mich auf Feedback, wahrscheinlich werdet ihr mich verdammen und verbannen

go to hell!

nee quatsch, war nur ein scherz...

warum sollten wir das tun? hier wurden schon reihenweise songs mit voicesynths veröffentlicht - noch schlimmer...
kannst du noch sagen, welche ki-applikation du benutzt hast?

 

[Fabfabian]

go to hell!

nee quatsch, war nur ein scherz...

warum sollten wir das tun? hier wurden schon reihenweise songs mit voicesynths veröffentlicht - noch schlimmer...
kannst du noch sagen, welche ki-applikation du benutzt hast?

RVC2

 

[LM18]

Klingt gut und glaubhaft!

Also man kann sich jetzt nicht mehr rausreden, das eventuelle Mißerfolge der Titel an der Qualität der Sänger liegen würden .

Wie hoch war der Arbeitsaufwand?

 

[Fabfabian]

Hi LM18,

long time no see...
Für den Song war der Aufwand hoch, das Trainieren der Stimme hat 6h gebraucht, das Umwandeln dann genau 30 Sekunden. Aber ich hab hier auch einen Videoschnitt-PC mit einer Mords-Nvidia-Grafikkarte stehen.

LG

 

[LM18]

Hi Sir

Aber das Stimmmodel ist jetzt trainiert oder und liegt als Template vor, oder muss man das jedesmal frisch machen?

 

[Fabfabian]

Hi Sir

Aber das Stimmmodel ist jetzt trainiert oder und liegt als Template vor, oder muss man das jedesmal frisch machen?

Liegt vor, jederzeit einsatzbereit.

 

[jet2]

Hi LM18,

long time no see...
Für den Song war der Aufwand hoch, das Trainieren der Stimme hat 6h gebraucht, das Umwandeln dann genau 30 Sekunden. Aber ich hab hier auch einen Videoschnitt-PC mit einer Mords-Nvidia-Grafikkarte stehen.

LG

6h ist schon ne menge....
hast du das bei dir auf dem rechner gemacht, oder über die google online applikation?
hab gelesen, man darf online google auch nur 4 h pro tag nutzen...

 

[Fabfabian]

Alles auf dem PC. Ich mach einfach das Max mit 1000 epochs.

 

[stoman]

6 Stunden sind eigentlich gar nix. Ich habe für ein paar Stimm-Modelle von Sänger(inne)n, mit denen ich in zahlreiche Projekte gemacht habe, ca. 24 - 48 Stunden lang trainiert. Und die Vorbereitung des Materials darf man auch nicht vergessen.

Ich bin gespannt, ob es demnächst eine Rechtsprechung zu diesem Thema geben wird. Ich habe auch schon Frank Sinatra, Chris Martin und andere Leute meine Lieder singen lassen, aber ich traue mich nicht so recht, die Ergebnisse irgendwo öffentlich zu machen. Da suche ich dann doch lieber nach Alternativen.

 

[Entone]

Die Frage ist natürlich: Wieso sollte man es wollen, dass John "Weichflöte" Mayer seinen Song singt? Es kann ja eigentlich nur um Frauen gehen.

 

[jet2]

6 Stunden sind eigentlich gar nix. Ich habe für ein paar Stimm-Modelle von Sänger(inne)n, mit denen ich in zahlreiche Projekte gemacht habe, ca. 24 - 48 Stunden lang trainiert. Und die Vorbereitung des Materials darf man auch nicht vergessen.

Ich bin gespannt, ob es demnächst eine Rechtsprechung zu diesem Thema geben wird. Ich habe auch schon Frank Sinatra, Chris Martin und andere Leute meine Lieder singen lassen, aber ich traue mich nicht so recht, die Ergebnisse irgendwo öffentlich zu machen. Da suche ich dann doch lieber nach Alternativen.

ich habe in 1h sowohl ein eigenes Modell erstellt, als auch eine Datei gerendert.
siehe: https://recording.de/threads/wie-kann-man-growlen-wenn-man-nicht-growlen-kann.257179/#post-3244683

 

[Fabfabian]

Die Frage ist natürlich: Wieso sollte man es wollen, dass John "Weichflöte" Mayer seinen Song singt? Es kann ja eigentlich nur um Frauen gehen.

Höhö

 

[Fabfabian]

6 Stunden sind eigentlich gar nix. Ich habe für ein paar Stimm-Modelle von Sänger(inne)n, mit denen ich in zahlreiche Projekte gemacht habe, ca. 24 - 48 Stunden lang trainiert. Und die Vorbereitung des Materials darf man auch nicht vergessen.

Ich bin gespannt, ob es demnächst eine Rechtsprechung zu diesem Thema geben wird. Ich habe auch schon Frank Sinatra, Chris Martin und andere Leute meine Lieder singen lassen, aber ich traue mich nicht so recht, die Ergebnisse irgendwo öffentlich zu machen. Da suche ich dann doch lieber nach Alternativen.

Die Vorbereitung des Materials ist gar nicht so aufwändig. Vocal Isolation und Dereverb/Echo ist da schon drin.

 

[stoman]

Die Vorbereitung des Materials ist gar nicht so aufwändig. Vocal Isolation und Dereverb/Echo ist da schon drin.

Naja, ich bin Perfektionist. Wenn schon, dann mache ich es richtig, so, dass es meinen Ansprüchen auch später noch genügt. Allerdings ist mein Windows-PC auch noch etwas älter (allerdings mit starker Grafikkarte), und auf dem bescheuerten Mac läuft ja gar nix.

Das absolute Minimum war bisher ein Training über ca. 8 Stunden. Da bin ich aber auch nur auf ca. 400 - 500 Epochs gekommen. Und die Vorbereitung bedeutet bei mir: Material sichten, passende Spuren auswählen, in geeignete Häppchen zerlegen, Fehler beseitigen, vorbehandeln (komprimieren, so dass alles einigermaßen gleich dynamisch ist), ... Und ich verwende nur trockenes Material, d.h. "echte" Spuren. Nichts aus Audio-Dateien Herausgerechnetes.

 

[jet2]

Naja, ich bin Perfektionist. Wenn schon, dann mache ich es richtig, so, dass es meinen Ansprüchen auch später noch genügt. Allerdings ist mein Windows-PC auch noch etwas älter (allerdings mit starker Grafikkarte), und auf dem bescheuerten Mac läuft ja gar nix.

Das absolute Minimum war bisher ein Training über ca. 8 Stunden. Da bin ich aber auch nur auf ca. 400 - 500 Epochs gekommen. Und die Vorbereitung bedeutet bei mir: Material sichten, passende Spuren auswählen, in geeignete Häppchen zerlegen, Fehler beseitigen, vorbehandeln (komprimieren, so dass alles einigermaßen gleich dynamisch ist), ... Und ich verwende nur trockenes Material, d.h. "echte" Spuren. Nichts aus Audio-Dateien Herausgerechnetes.

mit 500 epochen hast du wahrscheinlich in bisschen overprocessed.
die hälfte sollte reichen...
wenn du keine aktuelle cuda-kompatible gpu hast, drehst du meist däumchen.
dann dauert es mindestens doppelt so lang...

 

[stoman]

Doch, ich habe eine CUDA-fähige NVidia-Grafikkarte. 250 Epochs sind aber zu wenig. Nach meiner Erfahrung müssen es mindestens 400 - 450 sein. Ich kenne die Stimmen, die ich modelliert habe, ja sehr gut, und da fällt mir schnell auf, wenn etwas nicht natürlich klingt. Ein Schnellschuss mit ca. 250 Epochs hatte mich jedenfalls nicht überzeugt. Mit 400 Epochs konnte ich dann schon arbeiten, aber ganz zufrieden war ich damit auch noch nicht. Ich hatte nur nicht genug Zeit, um weiterzumachen.

 

[Fabfabian]

Nächstes Projekt bei mir wird das Training von Isolated Drum Tracks, die ich dann ggf. eigenständig - je nach Qualität - oder als Layer zum eigentlichen Drumtrack dazunehme. Da gibts zB viel von John Bonham. Außerdem will ich auch mal ne Violine modellieren, um zu sehen ob das selbst eingesungene Melodielinien umsetzen kann. Ein weites Feld zum Spielen.

 

[stoman]

Nächstes Projekt bei mir wird das Training von Isolated Drum Tracks, die ich dann ggf. eigenständig - je nach Qualität - oder als Layer zum eigentlichen Drumtrack dazunehme. Da gibts zB viel von John Bonham. Außerdem will ich auch mal ne Violine modellieren, um zu sehen ob das selbst eingesungene Melodielinien umsetzen kann. Ein weites Feld zum Spielen.

Es gibt da einen Burschen bei Discorgs, der alles Mögliche modelliert. Von Violine und Saxophone über Hunde und Katzen bis zu Orkanen.

 

[Fabfabian]

Bei Discord? Hast du einen Namen bzw. wie heißt die Gruppe? Dann muss man ja das Rad nicht neu erfinden.