KI-Tool um aus einer vorhandenen Stimme eine komplett andere zu machen?


D
Damax
Registriert
31.08.22
Beiträge
10
Punkte Reaktionen
1
Punkte
16
Moin,

Die Frage steht eigentlich schon Titel: Und zwar suche ich nach einem (oder mehreren?) geeigneten Tool(s) mit dem ich Gesprochenes oder auch Gerapptes bzw. Gesang in eine komplett andere Stimme transformieren kann. Es soll sich aber nicht synthetisch nach Monster, MickeyMouse oder Roboter anhören, sondern es soll vom Resultat wirklich wie eine realistische Stimme klingen, die eine Person halt haben kann. Sehr interessant wäre wenn sich damit zb. aus einer Männerstimme eine Frauenstimme generieren lässt oder die Stimme halt so verändern / verfremden, dass sie wie eine gänzlich andere Person klingt. Da es ja mittlerweile KI's gibt, die einfach mal einen beliebigen Text mit der Stimme einer bekannten Person in täuschend echter Qualität from the Scratch rappen oder singen können, nehme ich mal an, dass da auch mit einer bereits existierenden wav entsprechende Möglichkeiten existieren? Die Stimme soll aber nicht einfach vorgefertigt sein, sondern sich am Besten mit verschiedenen Parametern modelieren und auch automatisieren lassen. Am Besten wäre es wenn es als VST-Anwendung läuft und sehr wichtig wäre auch, dass sich nur die Stimme verändert aber nicht der Takt oder das Tempo.

Gibt es oder kennt jmd. zufällig soetwas?
 
Zuletzt bearbeitet:
O
ollo123
Registriert
13.04.14
Beiträge
2.916
Punkte Reaktionen
1.557
Punkte
7.675
Also theoretisch müsste man mit Deep Learning eine KI entwickeln können, die erkennt, was zB den Gesang von Lady Gaga ausmacht, wenn man die mit genug Accapellas füttert. Dann vergleicht die das mit anderem Gesang und kann dann die Merkmale von Lady Gaga aufprägen. Ich wüsste jetzt aber keine App, die das tatsächlich so macht. Wird aber garantiert noch kommen.

Frauengesang zu Männergesang und umgekehrt geht mit jedem Pitch Tool, was unabhängig die Formanten bearbeiten kann.

Ich hatte mal vor Ewigkeiten eine Demo ausprobiert von einem Tool, was darauf spezialisiert war. Das war schon witzig, wenn Katy Perry plötzlich männlich klingt, war aber nicht zu bezahlen in der Vollversion. Keine Ahnung wie das hieß. Aber wie gesagt, im Grunde sollte das jedes Tool können, was neben Pitch noch die Formanten regeln kann.
 
mWermut
mWermut
Registriert
05.08.16
Beiträge
1.755
Punkte Reaktionen
1.784
Punkte
7.237
Die Frage steht eigentlich schon Titel: Und zwar suche ich nach einem (oder mehreren?) geeigneten Tool(s) mit dem ich Gesprochenes oder auch Gerapptes bzw. Gesang in eine komplett andere Stimme transformieren kann.
..vielleicht könnte es klappen, wenn du wirklich (du hast es ja angedeutet) per Spracherkennung einen Text erzeugst und diesen per Sprachsynthese vorlesen lässt..
 
Sascha Franck
Sascha Franck
Registriert
31.10.18
Beiträge
17.378
Punkte Reaktionen
7.922
Punkte
41.200
Mein erster Tipp wäre ja Melodyne.
 
Ethersis
Ethersis
Individualist
Registriert
06.04.15
Beiträge
8.059
Punkte Reaktionen
5.773
Punkte
26.081
Also theoretisch müsste man mit Deep Learning eine KI entwickeln können, die erkennt, was zB den Gesang von Lady Gaga ausmacht, wenn man die mit genug Accapellas füttert.
Sowas in der Art gibt es schon.

 
O
ollo123
Registriert
13.04.14
Beiträge
2.916
Punkte Reaktionen
1.557
Punkte
7.675
Sowas in der Art gibt es schon.


Das ist aber eher simple text to speech Technik, bei der User passende Soundschnippsel rausgesucht haben, die dann zu neuen Wörtern zusammen gesetzt werden. Bei einigen Stimmen mit genug Ausgangsmaterial klappt das echt gut, das meiste ist aber eher Schrott.

Zumindest war es das beim letzten Test vor ein paar Monaten.

Es gibt auch sowas, da muss man bestimmte Texte vorlesen, dann sind dadurch alle Silben abgedeckt und man bekommt eine eigene text to speech Stimme. Ist aber auch eher Gag als dass es richtig funktioniert.
 
Ethersis
Ethersis
Individualist
Registriert
06.04.15
Beiträge
8.059
Punkte Reaktionen
5.773
Punkte
26.081
Das ist aber eher simple text to speech Technik
Ganz so simpel ist es nicht. Vor einiger Zeit geisterte doch mal diese Deep-Fake geschichte durch die Medien, bei dem die Stimme eines Promis benutzt wurde um irgendwas anzustellen. Weiß aber nicht mehr genau, was das war. Vielleicht eher Modulate.ai?
 
O
ollo123
Registriert
13.04.14
Beiträge
2.916
Punkte Reaktionen
1.557
Punkte
7.675
Das hier scheint ganz cool zu sein, zumindest die Stimme hier im Video, andere sind nicht so geil, einfach nach Voicemod bei Youtube gucken:

Adobe hatte auch mal eine Demo, wo ein Schauspieler vorher aufgenommen wurde und dann haben sie ihm per Texteingabe alles Mögliche sagen lassen. Ist aber glaube ich nie als Programm veröffentlicht worden, unter anderem weil sie nicht genau wussten, wie man da am besten ein Wasserzeichen einbaut, weil sich das für Missbrauch natürlich angeboten hat.
 
D
Damax
Registriert
31.08.22
Beiträge
10
Punkte Reaktionen
1
Punkte
16
Also ich hab nochmal bisschen rumgeschaut: Ich suche soetwas wie "respeecher", nur nicht auf englische Stimmen beschränkt und die Stimmen sollten sich nach Möglichkeit vom Sound anpassen lassen?

Sehr wichtig wäre, dass wie bei der o.g Anwendung das Timing der Audiostimmen original bleibt bzw. sich nicht verschiebt... Bei einem gewöhnlichen Text to Speech Generator stimmt halt bei den generierten Stimmen i.d.r weder Pitch noch Tempo.
 
D
Damax
Registriert
31.08.22
Beiträge
10
Punkte Reaktionen
1
Punkte
16
Mein erster Tipp wäre ja Melodyne.
Melodyne hab ich (4 + 5), aber ne wirklich neue realistische Stimme, die nicht nach Formantenglockenmonster klingt hab ich damit auch noch nicht erzeugen können... Gibt es da evtl. Tricks?
 

Ähnliche Themen

Glutamatjunkie
Antworten
114
Aufrufe
5K
Schludi
Schludi
moonbooter
    • Danke
  • Artikel
Antworten
3
Aufrufe
16K
DocM.M
D
Can
Antworten
15
Aufrufe
98K
Asmotiv
A
Bill_Presston
  • Artikel
2
Antworten
31
Aufrufe
72K
octaveplateau
O
M
Antworten
0
Aufrufe
16K
M

Oft gelesene Themen

Oben