AI John Mayer singt meinen Song

  • Ersteller Fabfabian
  • Erstellt am
Fabfabian schrieb:
Bei Discord? Hast du einen Namen bzw. wie heißt die Gruppe? Dann muss man ja das Rad nicht neu erfinden.
Zum Vergrößern anklicken....
Die Gruppe heißt "voice-models", wenn ich das richtig in Erinnerung habe, und die Titel der Beiträge mit seinen Modellen fangen alle mit "Literally a ..." an (also z.B. "Literally a dog").
 
Kann man das Programm mit einem Installer für PC irgendwo runterladen? Meine erste Suche brachte nur igendwelchen "Code", den man irgendwie "von Hand" installieren muss?

Und warum ist die Grafikkarte wichtig? Ist doch Audio?
 
Soundloch schrieb:
Kann man das Programm mit einem Installer für PC irgendwo runterladen? Meine erste Suche brachte nur igendwelchen "Code", den man irgendwie "von Hand" installieren muss?

Und warum ist die Grafikkarte wichtig? Ist doch Audio?
Zum Vergrößern anklicken....
Die (CUDA-fähige) Grafikkarte übernimmt einen enormen Teil der Rechenleistung, und die Software ist darauf ausgerichtet, das auszunutzen.

Auf der von mir hier irgendwo verlinkten GitHub-Seite steht alles, was man tun muss. Es gibt dort Beta-Versionen, die man herunterladen und auspacken kann. Für den Betrieb wird Python mit Anaconda benötigt. Die Abhängigkeiten installiert das Skript für Dich.
 
stoman schrieb:
Auf der von mir hier irgendwo verlinkten GitHub-Seite steht alles, was man tun muss. Es gibt dort Beta-Versionen, die man herunterladen und auspacken kann. Für den Betrieb wird Python mit Anaconda benötigt. Die Abhängigkeiten installiert das Skript für Dich.
Zum Vergrößern anklicken....

Die hier, oder?
github.com

Instructions and tips for RVC training

Voice data <= 10 mins can also be used to train a good VC model! - RVC-Project/Retrieval-based-Voice-Conversion-WebUI
github.com github.com
 
Hat eine Nvidia Geforce RTX2070 genug CUDA-Fähigkeit?

Was passiert eigentlich, wenn man einer Männerstimme eine Frauenstimme überstülpt? Singt die dann automatisch eine Oktave höher oder klingt das dann wie Frau nach Stimmbruch?

Mich interessiert diese Technik übrigens für Spezialeffekte.
Ein Song, der von einer geklauten Stimme getragen wird, wird es von mir nie geben.
 
Also Python und Anaconda habe ich jetzt mal runtergeladen. Aber ich blicke nicht durch, wo auf dieser Github-Seite das File für das eigentliche Programm ist. Kann helfen mir jemand?
 
Soundloch schrieb:
Also Python und Anaconda habe ich jetzt mal runtergeladen. Aber ich blicke nicht durch, wo auf dieser Github-Seite das File für das eigentliche Programm ist. Kann helfen mir jemand?
Zum Vergrößern anklicken....
hast du pycharm in der community edition auf dem rechner?
dann solltest du vielleicht noch miniconda installieren.
bei pytorch darauf achten, dass du eine cuda-fähige version installierst.
bei der windows-installation von cuda darauf achten, dass du die richtige version für pytorch ausgewählt hast.
(das cuda toolkit muss zur cudaversion passen - meist nicht die aktuellste version - zur zeit 11.7)
alles in allem kann die installation ein ziemlicher krampf sein, besonders wenn du packet-inkompatibilitäten hast und einige sachen manuell wieder entfernen musst...
 
Zuletzt bearbeitet:
Toller Song! Würde ich auch gern mal mit deiner eignen Stimme hören (das Tool kann ja ggf. auch als Inspirationsquelle dienen um dann doch selber einzusingen, ohne Effekt !?)
 
Soundloch schrieb:
Also Python und Anaconda habe ich jetzt mal runtergeladen. Aber ich blicke nicht durch, wo auf dieser Github-Seite das File für das eigentliche Programm ist. Kann helfen mir jemand?
Zum Vergrößern anklicken....

jet2 schrieb:
hast du pycharm in der community edition auf dem rechner?
dann solltest du vielleicht noch miniconda installieren.
bei pytorch darauf achten, dass du eine cuda-fähige version installierst.
bei der windows-installation von cuda darauf achten, dass du die richtige version für pytorch ausgewählt hast.
(das cuda toolkit muss zur cudaversion passen - meist nicht die aktuellste version - zur zeit 11.7)
alles in allem kann die installation ein ziemlicher krampf sein, besonders wenn du packet-inkompatibilitäten hast und einige sachen manuell wieder entfernen musst...
Zum Vergrößern anklicken....

noch ein tip, das war einer der fehler, die ich aus faulheit zu anfang gemacht habe:
immer mit virtuellen python-environments arbeiten, denn spätestens beim installieren der zweiten ki gibt es sonst üble packetabhängigkeiten, die sich kaum auflösen lassen...
 
Ennui schrieb:
Das perfide: Die Frauen kriegt am Ende immer noch der Mayer, selbst wenn seine Stimme nur eine AI ist.
Zum Vergrößern anklicken....
Das ist, wie wenn du in einem selbstgedrehten Porno deinen Penis per AI durch den Penis eines Pornostars ersetzt.


@
Ein fettes Danke nochmal für die Hilfe zum Installieren. Ich probiere dann mal mein Glück, scheint ja doch einiges schiefgehen zu können. Doch mal abwarten :)
 
@stoman

1000 Dank für die hilfreiche Info !

Ich hab gerade mit der Stimme meines Vaters ein 200 Epoch Model erstellt und damit bei einem Song von meinem Bruder die Stimme meines Vaters drübergebügelt. Das ist echt krass, was damit geht... Mit dem Pitch muss man aber vorsichtig sein - ich bin da ganz schnell wieder auf 0 gegangen. Das Training dafür hat relativ lange gedauert. Über die Anzahl der zu nutzenden GPU Prozesse (Default bei 22) muss es da sicherlich noch Optimierungsmöglichkeiten geben. Meine RTX-2070 hat meine ich 2300 GPU Cores, da sollten sicherlich mehr Prozesse möglich sein. Während des Trainings war die CPU Auslastung meiner 16 Core AMD 3950 CPU bei 14% und die GPU Auslastung etwa bei 25%. Die RAM Auslastung war auch nicht sonderlich hoch.

Bei der Beta brauchte ich keinerlei Konfigurationen an der Python Umgebung machen. Die CUDA Karte wurde direkt erkannt.

Ich bin begeistert !
 
Joost schrieb:
@stoman

1000 Dank für die hilfreiche Info !

Ich hab gerade mit der Stimme meines Vaters ein 200 Epoch Model erstellt und damit bei einem Song von meinem Bruder die Stimme meines Vaters drübergebügelt. Das ist echt krass, was damit geht... Mit dem Pitch muss man aber vorsichtig sein - ich bin da ganz schnell wieder auf 0 gegangen. Das Training dafür hat relativ lange gedauert. Über die Anzahl der zu nutzenden GPU Prozesse (Default bei 22) muss es da sicherlich noch Optimierungsmöglichkeiten geben. Meine RTX-2070 hat meine ich 2300 GPU Cores, da sollten sicherlich mehr Prozesse möglich sein. Während des Trainings war die CPU Auslastung meiner 16 Core AMD 3950 CPU bei 14% und die GPU Auslastung etwa bei 25%. Die RAM Auslastung war auch nicht sonderlich hoch.

Bei der Beta brauchte ich keinerlei Konfigurationen an der Python Umgebung machen. Die CUDA Karte wurde direkt erkannt.

Ich bin begeistert !
Zum Vergrößern anklicken....
das ist halt der vorteil einer vorgegebenen installation: man braucht man nur einmal zu klicken und das ding läuft...
von manchen ki's gibts auch docker images, da spart man sich auch das setup.
ich muss leider zugeben, dass ich bei mir den orginal code von hand installiert habe und dass das auflösen der pip-packetabhängigkeiten eine ziemliche pain in the ass gewesen ist, das mich am ende bestimmt 4 stunden gekostet hat.
dafür ist bei mir der vorteil, dass ich jetzt völlig unterschiedlche ki-applikationen auf meinem rechner laufen habe und dass ich da sehr flexibel unterschiedliche forks oder branches installieren kann.
 
Ganz geil (also von der Idee her, ich würde selber nicht zwingend John Mayer nehmen).
Ich habe von der Materie bisher exakt null Plan. Gibt's irgendwo ein Tutorial für Dummies, welche Tools ich genau brauche, was ich genau wo und wie einlesen, trainieren und sonstwas muss?
 
Sascha Franck schrieb:
Ganz geil (also von der Idee her, ich würde selber nicht zwingend John Mayer nehmen).
Ich habe von der Materie bisher exakt null Plan. Gibt's irgendwo ein Tutorial für Dummies, welche Tools ich genau brauche, was ich genau wo und wie einlesen, trainieren und sonstwas muss?
Zum Vergrößern anklicken....

die einfache variante - dafür musst du nicht mal ne software auf deinem rechner installieren.
 
jet2 schrieb:
ich muss leider zugeben, dass ich bei mir den orginal code von hand installiert habe und dass das auflösen der pip-packetabhängigkeiten eine ziemliche pain in the ass gewesen ist, das mich am ende bestimmt 4 stunden gekostet hat.
dafür ist bei mir der vorteil, dass ich jetzt völlig unterschiedlche ki-applikationen auf meinem rechner laufen habe und dass ich da sehr flexibel unterschiedliche forks oder branches installieren kann.
Zum Vergrößern anklicken....
Für die Mac-Version musste ich das auch tun. Außerdem waren da an zwei Python-Quelldateien kleine Anpassungen vorzunehmen, da der Mac M1 keine CUDA-fähige Grafikkarte hat und an den entsprechenden Codestellen die CPU genutzt werden muss. Bis die Abhängigkeiten alle passten, vergingen bei mir auch Tage. Und eine virtuelle Umgebung ist by Python absolutes Muss! Da ist niemals irgendetwas zueinander kompatibel.
 
Ob es mit dem ML Modell auch möglich ist, den Gitarrensound einer Aufnahme abzukupfern, oder ist es ausschließlich auf Voice beschränkt ?
 
Du musst dich einloggen oder registrieren, um hier zu antworten.

Ähnliche Themen

Vidus
    • Gute Antwort
Mittelalterrock mit echtem Schlagzeug und Bouzouki
Antworten
2
Aufrufe
481
Vidus
Vidus
Witti007
    • Danke
GONE WITH THE WIND (Eurovision Song 2018)
4 5 6
Antworten
107
Aufrufe
10K
Witti007
Witti007
Robertl
    • Danke
Gesang-Tutorial: Recording & Mixing
Antworten
12
Aufrufe
7K
Florian Hoffmann
Florian Hoffmann

Neue Antworten


Oft gelesene Themen

Zurück
Oben