Mit KI die eigene Stimme in beliebiges Instrument transformieren

  • Ersteller genesysx
  • Erstellt am
genesysx

genesysx

Registriert
13.03.05
Beiträge
3.988
Reaktionen
1.720
Punkte
13.155
Anstatt seine Stimme nur zu klonen oder als jemand anderes zu sprechen kann man die KI wohl auch den Charakter eines Instruments lernen lassen. Nimmt man dann seine eigene Stimme auf zB durch Singen oder Beatboxing dann kann die KI die Stimme in das trainierte Instrument umwandeln. Ummet zeigt uns wie das geht, er hat die KI Saxofon lernen lassen und singt dann ne Runde:


View: https://youtu.be/lI1LCfTx2lI?t=338

Vielleicht brauchen wir langsam ein Unterforum für KI Zeugs? Das scheint ja immer mehr zu werden ...
 
Unglaublich gut, wenn jemand es schafft das als Plugin rauszubrigen sehe ich schwarz für Sample Libraries etc.
 
Anstatt seine Stimme nur zu klonen oder als jemand anderes zu sprechen kann man die KI wohl auch den Charakter eines Instruments lernen lassen. Nimmt man dann seine eigene Stimme auf zB durch Singen oder Beatboxing dann kann die KI die Stimme in das trainierte Instrument umwandeln. Ummet zeigt uns wie das geht, er hat die KI Saxofon lernen lassen und singt dann ne Runde:


View: https://youtu.be/lI1LCfTx2lI?t=338

Vielleicht brauchen wir langsam ein Unterforum für KI Zeugs? Das scheint ja immer mehr zu werden ...

hab das ausprobiert.
das geht schon ein bisschen, aber noch nicht so richtig gut...
 
Dauert wohl noch bisschen, bis es richtig gut funktioniert! Und dauert wohl noch einige Zeit, bis es auch live einsetzbar ist (so wie dubler2, wo man live die Stimme ersetzen kann mit instrument) Grundlegend aber eine interessante Sache, auf deren Entwicklung ich gespannt bin.
 
Mit der ML Anwendung, welche im "John Mayer" Thread Erwähnung findet, hab ich ja bereits ein funktionierendes Gesangs Stimmenmodell erzeugen können.
Mich interessiert weniger, Instrument durch Gesang zu ersetzen, sondern eher mit einem Instrument eines, mit einem bestimmten Klangverhalten oder mit einem Instrument ein anderes Instrument zu ersetzen.
Beim Anlernen der Klänge muss man dabei sehr auf die Qualität der Stems/Samples achten. Ebenso müssen die eigenen Aufnahmen, wo man den Klang austauschen will, ebenso sehr sauber sein, da man sich sonst fürchterliche Artefakte in die eigenen Aufnahmen reinmischt. Interesse hätte ich z.B. am sehr speziellen Gitarrensound von John Mayer oder an dem typischen Basssound eines Alembic Basses. Ich werde, sofern ich Zeit dafür habe, mal ein wenig herumexperimentieren. Vielleicht eignet sich dieses ML Modell aber nicht dafür. Mal schauen...
 
Das hört sich an, als wenn einer auf dem Kamm bläst.
Mit Musik hat das aber alles nix mehr zu tun. Es heißt ja auch nicht umsonst künstliche Intelligenz, und die
hat auch nichts mit Kunst zu tun. Das ist Scharlatanerie aller ersten Ranges.
 
Zuletzt bearbeitet:
unglaublich! Stellt euch mal die Flut an KI-basierten Plugins oder DAW Features vor was da noch in nächster Zeit auf uns zurollen kommt.. Musikmachen ist dann echt keine Kunst mehr..

Alles beängstigend aber trotdzem auch ganz interessant das ganze..

Micheal Jackson hat so übrigens auch seine Songs geschrieben. Einfach alles vorgesungen oder gebeatboxt was so in ihm schlummerte und ECHTE Musiker haben das dann umgesetzt. Jetzt macht sowas eben ne KI..
 
Na ja, ich glaube nicht das Michael Jackson so gearbeitet hat. Das war ein historisch gesehen, ziemlich gut ausgebildeter musikalischer Workaholic und er hatte eine Band mit erstaunlich guten Musikern, mit welchen er sicherlich häufig im Probenraum oder im Studio war. Wer mal James Brown live gesehen hat und gesehen hat, wie er seine Musiker quasi mit Peitsche in die richtige Richtung gedrängt hat, weiß, wie ich das meine.
Hier in Hamburg hab ich mal ein Konzert von Jeff Beck zusammen mit der Gitarristin aus der Band von Michael Jackson erleben dürfen. Die Frau konnte richtig gut mit ihrer Gitarre in Verbindung mit einem Gitarren Synthesizer spielen. Sie brauchte sich in keinster Weise vor Jeff Beck verstecken.
Gute musikalische Umsetzungen von Ideen entstehen meistens erst, wenn mehrere Musiker zusammen sind. So ist meine Erfahrung.
Auch ich nutze gerne ML basierende Programme. KI steckt da auf jeden Fall nicht drin. KI ist in den meisten Fällen nur ein Bullshit Bingo Wort, mit dem ML basierende Modelle verkauft werden sollen. Wenn man erstmal ein entsprechendes Framework hat, wo man solche pretrained Data Modelle dann in einem Plugin abspielen kann, hat man eine erstaunlich günstige Entwicklungsumgebung. Zeitlich und energietechnisch der größte Aufwand dabei ist das Training.

Ich frage mich, wie eine "KI" einen Live Musiker auf der Bühne ersetzen kann...das geht nicht.
 
Ach ja...die sogenannte Flut an Plugins basiert leider nur auf wenigen Modellen.

Es gibt diese typischen DeReverb Plugins, mit denen man auch Umgebungsgeräusche entfernen kann.
Diese Modelle wurden aus kommerziellem Interesse für Videokonferenzsysteme entwickelt. Die Plugins verarbeiten die Sounds meistens in einer sehr niedrigen Auflösung, da man ja HIFI nicht für solche Programme benötigt

Stem Separierung kommt aus dem Umfeld Audio Streaming Anbieter. Die Qualität der generierten Stems lässt zu Wünschen übrig. Wahrscheinlich ist das Model Training für eine höhere Auflösung zu teuer/zeitaufwändig

Superaudioresolution wurde für Sprachaufnahmen (nicht für Musik) mit niedriger Auflösung umgesetzt, selbst in RX 10 Advanced. Das kommt wohl aus dem VoIP Bereich, um die Qualität des Audio bei sehr niedriger Datenrate zu erhöhen. Solche Algorithmen werden auch bei der Bildbearbeitung genutzt, um ein Upsampling von Bitmapgrafiken zu ermöglichen.

Gitarren Amp Modelle nutzen meistens gar kein ML Modell, sondern rechnen per Convolution/Deconvolution abgesampelte Impulse Response Dateien um.

...und jetzt gibt es Voice Modelle...
...es gibt sowas auch für Video... (Deep Fakes)

...ach ja, bei den aufgeführten Modellen spielt "KI" keine Rolle. Eine echte KI würde sich ja selbst die passenden Modelle erstellen und nutzen, da die ja die gesamten Algorithmen kennt und weiß, was der Benutzer gerne haben möchte...
 
Zuletzt bearbeitet:
unglaublich! Stellt euch mal die Flut an KI-basierten Plugins oder DAW Features vor was da noch in nächster Zeit auf uns zurollen kommt.. Musikmachen ist dann echt keine Kunst mehr..

Alles beängstigend aber trotdzem auch ganz interessant das ganze..

Micheal Jackson hat so übrigens auch seine Songs geschrieben. Einfach alles vorgesungen oder gebeatboxt was so in ihm schlummerte und ECHTE Musiker haben das dann umgesetzt. Jetzt macht sowas eben ne KI..
Ja, Du sagst es: Echte Musiker haben das umgesetzt.
Außerdem gibt es seit dem Erfinden der ganzen Midigeschichten schon lange die Möglichkeit Melodien einzusingen. Die aufgezeichneten Noten können dann Mit einer Unmenge von verschiedenen Instrumenten abgespielt werden.
Im Übrigen wird derjenige welcher vorher nichts zustande gebracht hat, auch mit KI nicht viel Erfolg haben.
Das liegt wohl in der Natur der Sache.
 

Ähnliche Themen

tim_heinrich
    • Danke
  • Artikel
Antworten
3
Aufrufe
753
tim_heinrich
tim_heinrich
Can
Antworten
1
Aufrufe
10K
Ethersis
Ethersis
moonbooter
    • Danke
  • Artikel
Testberichte Test: Dreadbox Typhon
Antworten
2
Aufrufe
15K
KoolKolle
KoolKolle
R
  • Artikel
Antworten
5
Aufrufe
17K
twinnpeaks
twinnpeaks

Oft gelesene Themen

Zurück
Oben