Synthesizer V, Solaria & Co.

  • Ersteller Florian Hoffmann
  • Erstellt am
stoman schrieb:
Hier hat jemand Natalie, Solaria, Kevin und Asterian verwendet, um eine A-Capella-Jazz-Version von "A Nightingale Sang In Berkley Square" zu setzen:

A Nightingale Sang In Berkley Square
Zum Vergrößern anklicken....
Absolut abgefahren. Da die Welt ja mitlerweile mit 100% autotune Songs leben kann, wird das bischen Unnatürlichkeit in den längeren Tönen, das hin und wieder mal hervor sticht, die Welt auch nicht weiter kümmern.
 
Die uhhs klingen synthetisch, aber der Gesang ist realistisch.
 
stoman schrieb:
Hier hat jemand Natalie, Solaria, Kevin und Asterian verwendet, um eine A-Capella-Jazz-Version von "A Nightingale Sang In Berkley Square" zu setzen:

A Nightingale Sang In Berkley Square
Zum Vergrößern anklicken....
oh Gott. schrecklich. Mir tun leider die Ohren weh, wenn ich das höre, musste abbrechen. Ich nehm halt Sänger/Sängerinnen auf, die halt auch Chorsatz können. Auch Jazz Voicings, Blue Notes etc.
Das Hörbeispiel hier klingt total synthetisch, keinerlei Schwebungen, keine eigenen Phrasierungen, alles straight und tot, fast wie vom Roland Entertainer Keyboard oder Harmonizer gespielt. Klar, muss man mögen. Und mit noch mehr digitaler Bearbeitung geht natürlich noch viel mehr. Und je nach Musikstil sicher ganz toll zu nutzen. Die Einzelstimmen überzeugen soweit.
 
48khz schrieb:
oh Gott. schrecklich. Mir tun leider die Ohren weh, wenn ich das höre, musste abbrechen. Ich nehm halt Sänger/Sängerinnen auf, die halt auch Chorsatz können. Auch Jazz Voicings, Blue Notes etc.
Das Hörbeispiel hier klingt total synthetisch, keinerlei Schwebungen, keine eigenen Phrasierungen, alles straight und tot, fast wie vom Roland Entertainer Keyboard oder Harmonizer gespielt. Klar, muss man mögen. Und mit noch mehr digitaler Bearbeitung geht natürlich noch viel mehr. Und je nach Musikstil sicher ganz toll zu nutzen. Die Einzelstimmen überzeugen soweit.
Zum Vergrößern anklicken....
na komm, dafür, dass es synthetisch ist, klingt es doch schon ganz ordentlich.
um dafür ne demo oder eine gesangsvorlage für einen chor zu machen, reichts...

und so einen chor zu engagieren kostet ne menge kohle.
 
Ich find's auch sehr ordentlich. Schrecklich klingt da gar nichts für meine Ohren - aber ich habe auch nicht das Glück, mit professionellen Jazz-Sänger(inne)n Aufnahmesessions durchführen zu dürfen. Sonst wäre ich da vielleicht sensibler. Aber genau das ist ja der Punkt: Der Normalo hört den Unterschied nicht.

Ich möchte trotzdem weiterhin Lieder mit echten Sängern und Sängerinnen produzieren, aber die Computer-Stimmen sind ein riesiger Schritt vorwärts für diejenigen unter uns, die selbst nicht singen können und anderenfalls ihre Demo-Melodien auf irgendeinem Instrument halbherzig einklimpern müssten (oder sie gleich ganz den Sängern überlassen). Und wenn alle Stricke reißen und kein Sänger aufzutreiben ist, geht's durchaus auch mal mit dem künstlichen Gesang. In der Pop-Musik allemal.
 
Ich hab mich dusselig gesucht, nach den Stimmen, die man in der Basic Version nutzen kann, das ist nach wie vor alles ein wenig durcheinander auf deren Webseite. Jedenfalls findet man hier ales, was man mit der Basic Version nutzen kann:
 
Hallo! Wir haben soeben ein kurzes Tutorial über Solaria auf YouTube veröffentlicht. Uns ist aufgefallen, dass die Stimme bei vielen Musikstücken eher wie ein Instrument klingt, nicht wie eine menschliche Sängerin und haben versucht, ein paar Tipps zu geben. Ich hoffe, es ist hilfreich für manche von euch!

View: https://youtu.be/PVJ9TvgoFP0
 
Ich bin mal einen Schritt weiter gegangen und habe ein AI-Modell von der Stimme meiner besseren Hälfte erstellt. Leider haben wir erst zwei Lieder miteinander gemacht, daher ist das Quellmaterial etwas dürftig, aber das Ergebnis ist dennoch schon sehr ordentlich.

Das Lied ist noch im Entwurfs-/Demo-Status, d.h. bis auf die Gitarre ist alles noch synthetisch:

View: https://drive.google.com/file/d/17-VJVIYl-kuq-ZZFxzaIhKmE50DKOPvE/view?usp=sharing

Den ursprünglichen Gesang habe ich mit Synthesizer-V "Natalie" erstellt und dann mit Hilfe meines AI-Modells konvertiert.
 
stoman schrieb:
Ich bin mal einen Schritt weiter gegangen und habe ein AI-Modell von der Stimme meiner besseren Hälfte erstellt. Leider haben wir erst zwei Lieder miteinander gemacht, daher ist das Quellmaterial etwas dürftig, aber das Ergebnis ist dennoch schon sehr ordentlich.

Das Lied ist noch im Entwurfs-/Demo-Status, d.h. bis auf die Gitarre ist alles noch synthetisch:

View: https://drive.google.com/file/d/17-VJVIYl-kuq-ZZFxzaIhKmE50DKOPvE/view?usp=sharing

Den ursprünglichen Gesang habe ich mit Synthesizer-V "Natalie" erstellt und dann mit Hilfe meines AI-Modells konvertiert.
Zum Vergrößern anklicken....

Alter, du gehst ja ab!

Krasse Nummer.

Ich fand das ja schon heftig das man da jetzt diese Voice Databases überhaupt nutzen kann, da jetzt mal eben ne eigene zu kreieren... Hut ab!
 
Naja, "mal eben" ging das nicht. Man muss schon das Quellmaterial schön in passende Häppchen aufteilen und darauf achten, dass alles einigermaßen gleichmäßig in punkto Dynamik und Klangqualität ist - und dann muss man den Rechner lange genug rechnen lassen. Ich habe in diesem Fall etwa 24 Stunden rechnen lassen, weil ich nicht mehr Zeit hatte. Die Software läuft, wie üblich, nicht auf meinem Mac M1, und ich bin extrem selten zu Hause, wo ich Zugriff auf meine Windows-Rechner und die DAW habe.

Hat man aber dann einmal ein Modell erstellt, kann man damit in sehr kurzer Zeit (maximal ein paar Minuten) eine Gesangsspur konvertieren. Es gibt auch im Netz schon so einige Modelle. Die allermeisten sind Müll, aber es gibt auch ein paar, die recht ordentlich gelungen sind, weil sie aus Originalspuren generiert wurden und nicht von artefaktbehafteten "Ripps". Ich habe, zum Spaß, auch mal ein paar meiner Lieder posthum vom Herrn Sinatra singen lassen. :)
 
@stoman Kannst du mehr darüber teilen, wie man das macht?
 
Florian Hoffmann schrieb:
@stoman Kannst du mehr darüber teilen, wie man das macht?
Zum Vergrößern anklicken....
Es gibt da zwei prinzipielle Software-Werkzeuge: So-Vits-SVC und RVC. Ich nutze i.d.R. Letzeres.

Da ich in den letzten Urlaubsvorbereitungen stecke (heute Abend geht's los), kann ich nicht viel Zeit für Erklärungen aufbringen, aber die folgenden Links sollten reichen, damit Du selbst weiterkommst:

SVC
RVC

Es gibt auch zahlreiche YouTube-Links dazu.
 
stoman schrieb:
Es gibt da zwei prinzipielle Software-Werkzeuge: So-Vits-SVC und RVC. Ich nutze i.d.R. Letzeres.

Da ich in den letzten Urlaubsvorbereitungen stecke (heute Abend geht's los), kann ich nicht viel Zeit für Erklärungen aufbringen, aber die folgenden Links sollten reichen, damit Du selbst weiterkommst:

SVC
RVC

Es gibt auch zahlreiche YouTube-Links dazu.
Zum Vergrößern anklicken....
Ich schließe mich an, Hut ab! Vielen Dank für die Links, mein Freund und ich finden das hochinteressant und werden uns näher damit beschäftigen. Er beschäftigt sich schon seit längerem mit graphischen Machine Learning Modellen (Stable Diffusion), deshalb ist dein Thema besonders interessant, da es die selbe technische Basis hat (pytorch, etc.)
 
Ja, immer wieder krass, was damit geht.

Aktuell scheint es einen kleinen Sale zu geben. Die Pro Version plus eine Stimme der Wahl kostet anstatt 168$ aktuell "nur" 151$, umgerechnet auf deren Seite in Euro 140€. Allerdings kommen da wohl leider noch die Steuern drauf.

Den letzten Black Friday gab es wohl keinen Sale.
 
@stoman
Super Beispiele von dir hier, klingt gut und vermittelt Infos über Herangehensweise, Aufwand, Möglichkeiten.
Ich versuche gerade, mir einen Überblick zu verschaffen über das Thema und die ganzen Infos, die hier und in diversen YouTube-Videos rumschwirren, zu ordnen und für mich zu gewichten (welche Herangehensweise ist für mich interessiert, was lässt sich mit welchem Aufwand umsetzen, was ist das jetzt überhaupt, was irgendjemand in einem Video zeigt).

Im Kopf hab ich jetzt folgende Themen/Begriffe:
1) AI-Modell,
das, was du von deiner Partnerin erstellt hast oder @Fabfabian von John Mayer oder irgendjemand anders im Internet von einem meist berühmten, oft schon verstorbenen Sänger (Sinatra, Mercury,...).
Die Werkzeuge zum Erstellen wären diese hier: SVC, RVC

2) TTS (Text to Speech),
schon länger existierende Grundidee, über die geschriebene Texte in gesprochene Sprache umgewandelt werden, wo die Möglichkeiten sich jetzt aber weiterentwickeln, wo bspw. der Text gerappt ausgegeben wird oder wo (wie bei Synthesizer V) über eine Art Piano-Roll-Darstellung Melodie und Rhythmus definiert werden können.

3) SVC (Singing Voice Conversion, die Abkürzung hab ich erst gestern entdeckt),
auch eine Möglichkeit, ein AI-Modell nach eigenen Vorgaben singen zu lassen, aber ganz anders:
Audio-Aufnahme eines "Source Singers" (bspw. man selbst) wird umgewandelt in Aufnahme eines "Target Singers" (irgendein AI-Modell).

Sonst was? Gerne ergänzen!

Paar Fragen und Gedanken:
stoman schrieb:
Ich bin mal einen Schritt weiter gegangen und habe ein AI-Modell von der Stimme meiner besseren Hälfte erstellt. Leider haben wir erst zwei Lieder miteinander gemacht, daher ist das Quellmaterial etwas dürftig, aber das Ergebnis ist dennoch schon sehr ordentlich.
...
Den ursprünglichen Gesang habe ich mit Synthesizer-V "Natalie" erstellt und dann mit Hilfe meines AI-Modells konvertiert.
Zum Vergrößern anklicken....
Das wär für meine Logik eine Kombination aus 1 und 2.
Könnte man mit 3 (durch eigenes Einsingen einer Vorgabespur) nicht schneller zum Ziel kommen?
Wie lange brauchst du denn circa, um die ganzen Punkte und Texte im Raster (also dieser Piano-Roll-Darstellung) von Synthesizer V zu setzen? Gibt es sonstige Vor- oder Nachteile gegenüber 3?


stoman schrieb:
Naja, "mal eben" ging das nicht. Man muss schon das Quellmaterial schön in passende Häppchen aufteilen und darauf achten, dass alles einigermaßen gleichmäßig in punkto Dynamik und Klangqualität ist - und dann muss man den Rechner lange genug rechnen lassen. Ich habe in diesem Fall etwa 24 Stunden rechnen lassen, weil ich nicht mehr Zeit hatte.
Zum Vergrößern anklicken....
Das ist eine wertvolle Praxis-Information zum Thema "Aufwand".


stoman schrieb:
Hat man aber dann einmal ein Modell erstellt, kann man damit in sehr kurzer Zeit (maximal ein paar Minuten) eine Gesangsspur konvertieren. Es gibt auch im Netz schon so einige Modelle. Die allermeisten sind Müll, aber es gibt auch ein paar, die recht ordentlich gelungen sind, weil sie aus Originalspuren generiert wurden und nicht von artefaktbehafteten "Ripps". Ich habe, zum Spaß, auch mal ein paar meiner Lieder posthum vom Herrn Sinatra singen lassen. :)
Zum Vergrößern anklicken....
Vom hier geposteten Stück mit deiner Partnerin könntest du also jetzt mit geringem Aufwand diverse Versionen mit anderen Sängern machen? Ich hab jetzt noch nicht selber im Detail gesucht. Gibt es da ein paar wenige große Download-Seiten für AI-Modelle oder sind die wild verstreut?
Und wenn unter einem YouTube-Video druntersteht "Model: Freddie Mercury 300k, Lossless Download (FLAC):..." ist das dann das AI-Modell, das man sich runterladen kann?


stoman schrieb:
Es gibt da zwei prinzipielle Software-Werkzeuge: So-Vits-SVC und RVC. Ich nutze i.d.R. Letzeres.

Da ich in den letzten Urlaubsvorbereitungen stecke (heute Abend geht's los), kann ich nicht viel Zeit für Erklärungen aufbringen, aber die folgenden Links sollten reichen, damit Du selbst weiterkommst:

SVC
RVC

Es gibt auch zahlreiche YouTube-Links dazu.
Zum Vergrößern anklicken....
Angefangen reinzuschauen, braucht aber schon etwas Zeit und Konzentration ;-)
 
Du musst dich einloggen oder registrieren, um hier zu antworten.

Neue Antworten


Oft gelesene Themen

Zurück
Oben