KI-Tool um aus einer vorhandenen Stimme eine komplett andere zu machen?

[Damax]

Moin,

Die Frage steht eigentlich schon Titel: Und zwar suche ich nach einem (oder mehreren?) geeigneten Tool(s) mit dem ich Gesprochenes oder auch Gerapptes bzw. Gesang in eine komplett andere Stimme transformieren kann. Es soll sich aber nicht synthetisch nach Monster, MickeyMouse oder Roboter anhören, sondern es soll vom Resultat wirklich wie eine realistische Stimme klingen, die eine Person halt haben kann. Sehr interessant wäre wenn sich damit zb. aus einer Männerstimme eine Frauenstimme generieren lässt oder die Stimme halt so verändern / verfremden, dass sie wie eine gänzlich andere Person klingt. Da es ja mittlerweile KI's gibt, die einfach mal einen beliebigen Text mit der Stimme einer bekannten Person in täuschend echter Qualität from the Scratch rappen oder singen können, nehme ich mal an, dass da auch mit einer bereits existierenden wav entsprechende Möglichkeiten existieren? Die Stimme soll aber nicht einfach vorgefertigt sein, sondern sich am Besten mit verschiedenen Parametern modelieren und auch automatisieren lassen. Am Besten wäre es wenn es als VST-Anwendung läuft und sehr wichtig wäre auch, dass sich nur die Stimme verändert aber nicht der Takt oder das Tempo.

Gibt es oder kennt jmd. zufällig soetwas?

 

[Gast90407]

Google hilft vielleicht: https://www.google.de/search?q=Male+to+female+voice+changer+vst

 

[ollo123]

Also theoretisch müsste man mit Deep Learning eine KI entwickeln können, die erkennt, was zB den Gesang von Lady Gaga ausmacht, wenn man die mit genug Accapellas füttert. Dann vergleicht die das mit anderem Gesang und kann dann die Merkmale von Lady Gaga aufprägen. Ich wüsste jetzt aber keine App, die das tatsächlich so macht. Wird aber garantiert noch kommen.

Frauengesang zu Männergesang und umgekehrt geht mit jedem Pitch Tool, was unabhängig die Formanten bearbeiten kann.

Ich hatte mal vor Ewigkeiten eine Demo ausprobiert von einem Tool, was darauf spezialisiert war. Das war schon witzig, wenn Katy Perry plötzlich männlich klingt, war aber nicht zu bezahlen in der Vollversion. Keine Ahnung wie das hieß. Aber wie gesagt, im Grunde sollte das jedes Tool können, was neben Pitch noch die Formanten regeln kann.

 

[mWermut]

Die Frage steht eigentlich schon Titel: Und zwar suche ich nach einem (oder mehreren?) geeigneten Tool(s) mit dem ich Gesprochenes oder auch Gerapptes bzw. Gesang in eine komplett andere Stimme transformieren kann.

..vielleicht könnte es klappen, wenn du wirklich (du hast es ja angedeutet) per Spracherkennung einen Text erzeugst und diesen per Sprachsynthese vorlesen lässt..

 

[Sascha Franck]

Mein erster Tipp wäre ja Melodyne.

 

[Ethersis]

Also theoretisch müsste man mit Deep Learning eine KI entwickeln können, die erkennt, was zB den Gesang von Lady Gaga ausmacht, wenn man die mit genug Accapellas füttert.

Sowas in der Art gibt es schon.

Uberduck: Kostenloser Online-Sprachsynthesizer - gearnews.de

Das kostenlose Text-to-Speech-System Uberduck verwandelt Texte in die Stimmen von 2Pac, Biggie, Yoda, Donald Duck und vielen weiteren Stars.

www.gearnews.de

 

[ollo123]

Sowas in der Art gibt es schon.

Uberduck: Kostenloser Online-Sprachsynthesizer - gearnews.de

Das kostenlose Text-to-Speech-System Uberduck verwandelt Texte in die Stimmen von 2Pac, Biggie, Yoda, Donald Duck und vielen weiteren Stars.

www.gearnews.de

Das ist aber eher simple text to speech Technik, bei der User passende Soundschnippsel rausgesucht haben, die dann zu neuen Wörtern zusammen gesetzt werden. Bei einigen Stimmen mit genug Ausgangsmaterial klappt das echt gut, das meiste ist aber eher Schrott.

Zumindest war es das beim letzten Test vor ein paar Monaten.

Es gibt auch sowas, da muss man bestimmte Texte vorlesen, dann sind dadurch alle Silben abgedeckt und man bekommt eine eigene text to speech Stimme. Ist aber auch eher Gag als dass es richtig funktioniert.

 

[Ethersis]

Das ist aber eher simple text to speech Technik

Ganz so simpel ist es nicht. Vor einiger Zeit geisterte doch mal diese Deep-Fake geschichte durch die Medien, bei dem die Stimme eines Promis benutzt wurde um irgendwas anzustellen. Weiß aber nicht mehr genau, was das war. Vielleicht eher Modulate.ai?

https://www.focus.de/digital/dldaily/hype-um-smartphone-app-clubhouse-in-dieses-social-network-kommen-sie-nur-mit-persoenlicher-einladung_id_12882769.html

 

[ollo123]

Das hier scheint ganz cool zu sein, zumindest die Stimme hier im Video, andere sind nicht so geil, einfach nach Voicemod bei Youtube gucken:

Adobe hatte auch mal eine Demo, wo ein Schauspieler vorher aufgenommen wurde und dann haben sie ihm per Texteingabe alles Mögliche sagen lassen. Ist aber glaube ich nie als Programm veröffentlicht worden, unter anderem weil sie nicht genau wussten, wie man da am besten ein Wasserzeichen einbaut, weil sich das für Missbrauch natürlich angeboten hat.

 

[Glutamatjunkie]

Mein erster Tipp wäre ja Melodyne.

Das Problem, die coolen Features sind nur in der großen Version.
Man kann aber 30 Tage testen.

 

[Damax]

Also ich hab nochmal bisschen rumgeschaut: Ich suche soetwas wie "respeecher", nur nicht auf englische Stimmen beschränkt und die Stimmen sollten sich nach Möglichkeit vom Sound anpassen lassen?

Sehr wichtig wäre, dass wie bei der o.g Anwendung das Timing der Audiostimmen original bleibt bzw. sich nicht verschiebt... Bei einem gewöhnlichen Text to Speech Generator stimmt halt bei den generierten Stimmen i.d.r weder Pitch noch Tempo.

 

[Damax]

Mein erster Tipp wäre ja Melodyne.

Melodyne hab ich (4 + 5), aber ne wirklich neue realistische Stimme, die nicht nach Formantenglockenmonster klingt hab ich damit auch noch nicht erzeugen können... Gibt es da evtl. Tricks?

 

[therealelfatale]

GitHub - andabi/deep-voice-conversion: Deep neural networks for voice conversion (voice style transfer) in Tensorflow

Deep neural networks for voice conversion (voice style transfer) in Tensorflow - andabi/deep-voice-conversion

github.com

 

[ollo123]

GitHub - andabi/deep-voice-conversion: Deep neural networks for voice conversion (voice style transfer) in Tensorflow

Deep neural networks for voice conversion (voice style transfer) in Tensorflow - andabi/deep-voice-conversion

github.com

Auf genau sowas warte ich ja, klingt aber noch sehr künstlich. Richtig geil wird es dann noch, wenn Gesang geht.

 

[Gast59155]

Als (auch) Solo-Hörspielmacher bin ich auf ähnlicher Suche.
Respeecher ist ja erstens ziemlich teuer und soll nur englisch gut funktionieren. Ich hoffe, dass KIs im Audiobereich bald wenigstens ähnlich gute Möglichkeiten anbieten können wie längst im Fotobereich.
Die meisten Plugins, die es für Stimmverfremdungen gibt, liefern tatsächlich nur ziemlich synthethisch Klingendes, 'Unmenschliches'.
Für meine Hörspiele nutze ich vor allem bei Cubase viel simples Transponieren.
Es lohnt dabei auch, die eigene Stimme zu erforschen und in ihren Möglichkeiten zu erschließen. Sie ist modulierbarer als man denkt.

 

[CFR]

Wenn deine Alte mit 'ner Bratpfanne hinter dir herläuft, verändert sich deine Stimmlage automatisch.
Spass

 

[Gast59155]

Glücklicherweise werden im eigenen Hauhalt Bratpfannen nur zu kulinarischen Zwecken verwendet.
Wie weit ich eine einzige (meine) Stimme ohne KI (auf die ich künftig auch als Hörspielmacher durchaus setze) ausreizen kann, zeigt mein heute vollendetes Weihnachtshörspielchen mit mir in allen (13) Rollen:

 

[Gast59155]

Hier scheint demnächst was Interessantes zu kommen: Voicegecko.

 

[Gast59155]

Falls jemanden das Thema noch interessiert (Mich als auch Hörspielmacher hat es jedenfalls nicht losgelassen), will ich hier mal ein Update in Sachen Voice-Change-KI geben. (ohne einen neuen Thread zu eröffnen)
Es gibt mittlerweile einige schon recht brauchbare, wenn auch noch nicht ganz ausgereifte Sachen, wenn man nicht nur Text-to-speech, sondern eben Speech-to-speech will.
Erstmals habe ich eine solche Anwendung im November ('23) für eine Hörspiel-Miniserie angewendet und konnte mich beispielsweise auch in eine Dame verwandeln (hier ab 20:24, ihr Gesprächspartner bin ich auch). Verwendet wurde Metavoice, und für die Bedürfnisse der Serie bin ich mit einem Einsatz von rund 10 Euro ausgekommen. Die Stimmen haben allerdings, wenn man genau hinhört, einen Rest von englischem Akzent (das "ch" in "Ich" macht ihnen allen Probleme, aber leider gibt es keine gute deutsche Entwicklung). Auch nimmt das Resultat irgendwie immer Dramatik weg, und singen können die alle gar nicht.
Der Rollsroyce unter den Voice-Changern ist Respeecher, sauteuer und knausriges Trial, sehr gute Stimmen, nur leider im speech-to-speech Modus sehr englisch. Hoffnungsvoll scheint mir ElevenLabs zu sein. Da tut sich immer mal was Neues, und man kann viel ausprobieren. Aber auch hier noch oft das Akzentproblem.
Trotzdem ist hier nach meiner Übersicht seit etwa einem Jahr sehr viel vorangekommen, und ich habe Hoffnung. Natürlich darf man nicht unerwähnt lassen, dass Voice-KIs auch Kriminellen hochwillkommen sein werden. Deswegen finde ich es prinzipiell gut, wenn die Betreiber bei Abos Personalien festhalten und nach der Absicht der Verwendung fragen.

 

[Joost]

Beste Erfahrungen habe ich mit RVC von HugginFace gemacht:

GitHub - RVC-Project/Retrieval-based-Voice-Conversion-WebUI: Voice data <= 10 mins can also be used to train a good VC model!

Voice data <= 10 mins can also be used to train a good VC model! - GitHub - RVC-Project/Retrieval-based-Voice-Conversion-WebUI: Voice data <= 10 mins can also be used to train a good VC model!

github.com