AI nicht nur für Gesang?

  • Ersteller Fabfabian
  • Erstellt am
Fabfabian

Fabfabian

Registriert
11.01.10
Beiträge
910
Reaktionen
505
Punkte
2.959
Tach zusammen,

das Thema ist ja vor einiger Zeit schon aufgekommen, aber ich bin immer noch völlig geplättet von den vielfältigen (Business-)Möglichkeiten, die AI im Musikbereich bietet. Dieser Typ hier hat bspw. Bon Scotts Stimme ziemlich überzeugend mithilfe dieser gängigen Open Source Software (https://github.com/svc-develop-team/so-vits-svc) erzeugt:


View: https://youtu.be/sC-WXpgoI0U?t=9

Und nicht nur das. Er hat auch Isolated Drum Tracks von Jon Bonham durchgejagt und auf einen anderen Drumbeat angewendet:

View: https://youtu.be/sC-WXpgoI0U?t=409

Noch nicht perfekt, aber das Ausgangsmaterial hat aber auch extrem viel Bleed.

Habt ihr euch auch schon damit beschäftigt? Fast grenzenlose Möglichkeiten...

- Jegliches selbst gespielte Instrument im Sound einer bestimmten Vorlage (Vocals, Gitarren, Bass, Drums, Klavier)
- Eigene Songs mit jeglicher Stimme
- Coversongs mit der Originalstimme, aber anderem Text

Wenn man das mal durchdenkt, ergeben sich absolut spannende (Business-)Ideen und Anwendungsmöglichkeiten. Nur mal so rumgesponnen. Stellt euch vor, ihr habt einen Song im Stile der Beatles geschrieben. Ihr ladet die Single-Tracks hoch und sagt, soll klingen wie "Let it be". Die Tracks werden dann umgewandelt und schwupps habt ihr einen Song mit Pauls Stimme und dem Sound von damals...

Oder: du bist in einer Coverband und lässt deine Vocals live umwandeln in die Zielstimme (ok, das wäre dann schon ziemlich creepy...)

Bin gespannt auf euren Input.

LG
 
Es könnte sein, daß bei einer Veröffentlichung die Tantiemen vieleicht an Paul McCartney und Richard Starkey gehen, bzw. an den Rechteinhaber der Songs (wer auch immer das heute ist), bzw. daß man eine Abmahnung bekommt, weil man ohne Erlaubnis Material dieses Künstlers veröffentlicht hat. Von solchen rechtlichen Grauzonen lasse ich lieber die Finger weg.
 
So wie ich das verstehe, geht die Diskussion auch gerade darum, dass die Plattenfirmen zwar Rechte an den Songs haben, aber nicht an der Stimme eines Interpreten. Das wird sich vieles sortieren in den nächsten Jahren. Aber die Leute scheint es ja nicht zu stören, wenn man die große Zahl der AI Covers auf YT ansieht...
 
Vor kurzem hatte die New York Times dazu einen interessanten Artikel: What Happens When A.I. Enters the Concert Hall. Anfang 2023 hat die Sängerin Jen Wang ein Stück gesungen und ihre Stimme wurde live in eine künstliche Variante ihrer eigenen Stimme umgerechnet. Sie sagte dazu: "Ich dachte, das würde total verwirrend werden, aber es fühlte sich an, als würde ich mit einem Instrument arbeiten, dass irgendwie gleichzeitig ich und doch nicht ich bin." Sie haben dazu das System Realtime Audio Variational autoEncoder (R.A.V.E) benutzt.

Ich selbst habe gerade einen Song im Songvoting, der mit der künstlichen Sängerin Solaria umgesetzt ist: https://recording.de/songvoting/songs/that-special-song.

Für speziell dieses Modell sind die Rechtsfragen weitestgehend geklärt: Du darfst damit erstellte Songs benutzen, wie du möchtest, inklusive kommerzieller Verwendung. Die Rechte liegen dabei komplett bei dir und es gehen keine Tantiemen ab. Das ist im Nutzervertrag geregelt, den du bei Kauf unterzeichnest. Einzige Einschränkungen sind: Du darfst dein Material nicht mit dem Menschen in Verbindung bringen, der das Traningsmaterial für die Stimme geliefert hat. Du musst die Stimme, wenn du sie erwähnst, mit ihrem offiziellen Namen "Solaria" oder "Solaria AI" benennen. Du darfst die Stimme nicht benutzen, um weitere Produktions-Tools herzustellen, also z. B. Sample Packs oder ein Kontakt-Instrument.

stoman hat hier vor kurzem einen Song gepostet, in dem er mit dem Tool RVC aus der Stimme seiner Frau(?) eine AI-Vocals-Database errechnet hat und mit dieser dann einen Song erstellt hat: https://recording.de/threads/synthesizer-v-solaria-co.253752/post-3234801 An diesem Verfahren bin ich auch interessiert. Ich würde mir damit eine Datenbank meiner eigenen Stimme machen. Ich mache oft mitten in der Nacht Musik, wenn ich nicht laut singen kann, weil ich sonst die Familie wecke - so könnte ich meine Songs trotzdem mit einer persönlichen Note designen, bis ich die Aufnahme selbst machen kann. Auch Erkältungszeiten könnte man so prima überspielen.

Die Musikerin Grimes hat vor einiger Zeit ihre Stimme als AI-Version herausgegeben und erlaubt allen, sie zu benutzen, wenn sie die Hälfte der Royalties mit ihr teilen. https://www.rollingstone.com/music/music-news/grimes-voice-ai-generated-songs-1234722289/

Ich glaub, uns stehen verrückte Jahre bevor. Diese AI Tools sind ja grade mal in der ersten Generation und haben noch viel Steigerungspotenzial vor sich. Die werden in den nächsten Jahren fantastische Qualität erreichen.

Meiner Einschätzung nach könnte zum Beispiel ein komplett neuartiger Bereich "Ad-Hoc-Musik" entstehen. Aktuell ist alles auf feststehende Aufnahmen eingespielt, die immer exakt gleich klingen. Jazz-Fans waren davon schon immer abgeturnt, weil Improvisation ein Kernaspekt dieser Musik ist. Künftig könnten Stücke mit spontanen Variationen versehen werden, z. B. ein Live berechnetes Trompetensolo, das bei jedem Anhören anders klingt. Videospiele könnten Soundtracks bekommen, die live generiert werden und sich der Spielsituation exakt anpassen. Ambient-Musik könnte dir live auf die AirPods generiert werden...
 
bzw. daß man eine Abmahnung bekommt, weil man ohne Erlaubnis Material dieses Künstlers veröffentlicht hat.

Ist halt die Frage, ob man das hat. Wenn die KI den Klang auf anderes Material anwendet, hat man ja nicht klassisch etwas von einer Stereoaufnahme abgesamplet oder eine Melodie nachgespielt wie in typischen Copyrightfällen.

Genauso bei der Stimme. Sicherlich hat jeder erstmal das Recht an seiner eigenen Stimme aber dann wäre es interessant zu klären, wie nah man selber jetzt wie Adele oder Ed Sheeran klingen darf. Ansonsten nähert man sich der Stimme halt zu 50% und hat dadurch ja auch wieder was einzigartiges eigenes kreiert.

Super spannend aktuell.
 
Es könnte sein, daß bei einer Veröffentlichung die Tantiemen vieleicht an Paul McCartney und Richard Starkey gehen, bzw. an den Rechteinhaber der Songs (wer auch immer das heute ist), bzw. daß man eine Abmahnung bekommt, weil man ohne Erlaubnis Material dieses Künstlers veröffentlicht hat. Von solchen rechtlichen Grauzonen lasse ich lieber die Finger weg.
@Joost. Nichts gegen dich persönlich und ich kann deinen Standpunkt auch nachvollziehen, wenn er auch nur einen kleinen Teilbereich der neuen Möglichkeiten betrifft. Aber ich finde es schon wieder bezeichnend, dass der erste Kommentar hier auf rec.de gleich wieder nur Bedenken aufzeigt. AI ist für meine Begriffe ein absolut disruptive Technologie, die viele neue Businessmodelle ermöglichen wird. Gleichzeitig werden aber viele Dinge zu Grunde gehen. Daran wird man wenig ändern können. Man denke mal nur an die Plattformen, die Karaoke-Versionen verkaufen... Mit https://vocalremover.org/ kann jeder heute für umme Instrumentals/ Vocals aus einem Song ziehen.
 
Zuletzt bearbeitet:
Ich gehe ja bei meinen Songproduktion so vor, dass ich zunächst meine Stimme als Guide vorgebe, damit der Auftraggeber später darauf singen kann und meine Stimme ersetzt wird. Wenn der Song in einen bestimmte Stilrichtung gehen soll, könnte ich ja einfach den/ die gewünschte bekannte/n Sänger/in schon im Demo verwenden.
 
Ich glaub, uns stehen verrückte Jahre bevor. Diese AI Tools sind ja grade mal in der ersten Generation und haben noch viel Steigerungspotenzial vor sich. Die werden in den nächsten Jahren fantastische Qualität erreichen.

Meiner Einschätzung nach könnte zum Beispiel ein komplett neuartiger Bereich "Ad-Hoc-Musik" entstehen. Aktuell ist alles auf feststehende Aufnahmen eingespielt, die immer exakt gleich klingen. Jazz-Fans waren davon schon immer abgeturnt, weil Improvisation ein Kernaspekt dieser Musik ist. Künftig könnten Stücke mit spontanen Variationen versehen werden, z. B. ein Live berechnetes Trompetensolo, das bei jedem Anhören anders klingt. Videospiele könnten Soundtracks bekommen, die live generiert werden und sich der Spielsituation exakt anpassen. Ambient-Musik könnte dir live auf die AirPods generiert werden...

Und das ist ja nur das Thema Musik. Das Ganze geht ja auch für komplette Filme die irgendwann (in Echtzeit?) geremixt werden können, oder die KI macht aus deinem Lieblingsfilm eine Serie, die passende VR Variante oder erzeugt anhand der Daten eines Filmes das passende Videospiel. Dazu kommt dann noch der komplette Erotik-Bereich, der ja durchaus auch ein Technologietreiber ist. PC Spiele haben ja zB das Problem, dass die eigene Spielfigur stumm ist, weil sie nicht die eigene Stimme hat. Das geht auf einmal, weil die KI dafür dann vorher eine Stimmprobe bekommen hat und schon spricht der eigene Character wie man selber. Oder sieht perfekt aus wie man selber. Und das sind ja nur die naheliegenden Ideen, sicherlich gibt es noch ganz viel, an das man bisher gar nicht gedacht hat.

Da wird noch so einiges interessantes passieren.
 
Und das ist ja nur das Thema Musik. Das Ganze geht ja auch für komplette Filme die irgendwann (in Echtzeit?) geremixt werden können, oder die KI macht aus deinem Lieblingsfilm eine Serie, die passende VR Variante oder erzeugt anhand der Daten eines Filmes das passende Videospiel. Dazu kommt dann noch der komplette Erotik-Bereich, der ja durchaus auch ein Technologietreiber ist. PC Spiele haben ja zB das Problem, dass die eigene Spielfigur stumm ist, weil sie nicht die eigene Stimme hat. Das geht auf einmal, weil die KI dafür dann vorher eine Stimmprobe bekommen hat und schon spricht der eigene Character wie man selber. Oder sieht perfekt aus wie man selber. Und das sind ja nur die naheliegenden Ideen, sicherlich gibt es noch ganz viel, an das man bisher gar nicht gedacht hat.

Da wird noch so einiges interessantes passieren.
Wenn das das naheliegende ist, dann will ich vielleicht das entfernte gar nicht wissen :)
Aber wo liegt für dich/ euch denn das naheliegende im Musikbereich, in eurem Workflow? Wo sind die jobs to be done für eure potenzielle Zielgruppe, falls ihr businessmäßig im Musikbereich unterwegs seid?
 
Mir stellt sich eher die Frage wer für so eine "Art" von Musik überhaupt noch etwas bezahlen will?

Und: Wenn nicht mehr eine geniale Komposition, ein ausgeklügeltes Arrangement, ein virtuoses Spiel am Instrument, ein interessanter Text oder eine aussergewöhnliche Stimme Qualitätsmerkmale eines Songes sind, bestimmt dann nur noch der Benchmark eines Rechners wie viel Geld ein Song (vielleicht, siehe oben) einspielt?

Ich hoffe, daß es trotzdem ein paar Unerschrockene geben wird, die sich die Mühe machen gute Songs zu schreiben und ein Instrument zu lernen denn ausserhalb dieser Nische weigere ich mich Musik zu hören.

Es kann natürlich auch sein, daß diese Computer generierte Musik ausschliesslich für andere Computer erstellt wird die darauf ausgerichtet sind Klicks zu erzeugen um Traffic zu generieren.

Das wäre dann wenigstens eine tröstliche Aussicht, daß diese Art von Musik unter Ausschluss der Öffentlichkeit vonstatten geht. ;)
 
Kann man damit auch Stimmen mischen? Eine Mischung aus Bon Scott und der Callas wäre spannend :)
 
nur fürs Protokoll, Back in Black sang der Neue, also Brian Johnson
 
nur fürs Protokoll, Back in Black sang der Neue, also Brian Johnson
Das war doch auch der Gag, oder? Aber in dem Falle is es ja so, dass nicht Brian Johnson durch Bon Scott ersetzt wurde, sondern der Typ seine Stimme umgewandelt hat. Und tach Holgi übrigens. :)
 
Kann man damit auch Stimmen mischen? Eine Mischung aus Bon Scott und der Callas wäre spannend :)
Müsste man mal probieren, wenn man das Tool mit Audios von beiden füttert...
 
Das war doch auch der Gag, oder? Aber in dem Falle is es ja so, dass nicht Brian Johnson durch Bon Scott ersetzt wurde, sondern der Typ seine Stimme umgewandelt hat. Und tach Holgi übrigens. :)
Mahlzeit!

Ja, haste recht, aber ich befürchte das der Grossteil der Angucker das nicht wissen, und da ich gelernter Bon Scott Fan seit 1975 oder so bin, muss ich jetzt halt halsen :-D
 
Die "Neuen" haben es echt nicht leicht ...
 
@Joost. Nichts gegen dich persönlich und ich kann deinen Standpunkt auch nachvollziehen, wenn er auch nur einen kleinen Teilbereich der neuen Möglichkeiten betrifft. Aber ich finde es schon wieder bezeichnend, dass der erste Kommentar hier auf rec.de gleich wieder nur Bedenken aufzeigt. AI ist für meine Begriffe ein absolut disruptive Technologie, die viele neue Businessmodelle ermöglichen wird. Gleichzeitig werden aber viele Dinge zu Grunde gehen. Daran wird man wenig ändern können. Man denke mal nur an die Plattformen, die Karaoke-Versionen verkaufen... Mit https://vocalremover.org/ kann jeder heute für umme Instrumentals/ Vocals aus einem Song ziehen.
Es geht doch darum, daß wir uns Gedanken darüber machen müssen, ob das, was ich produziere auch mir gehört, oder ob es nur ein Abklatsch einer Produktion einer fremden Person ist, welche die Rechte an dem Material hat.
Gegen die technischen Entwicklungen habe ich nichts einzuwenden, da diese auch eine Weiterentwicklung der aktuell genutzten Techniken darstellen können. Die Bullshitbingo Abkürzung AI (auf deutsch KI) ist für mich bei den meisten Produkten nur eine Werbephrase, da KI durchaus noch einen großen Unterschied zu ML darstellt. In den meisten Fällen werden ML Techniken verwendet.
Selbst lernend ist da in den meisten Fällen nichts, sondern basiert auf einer großen, vorberechneten Datenbasis.
Da Du vocalremover erwähnst... Stem Separierung wird schon recht lange verwendet. Die meisten dieser Services bauen auf den selben Python Sourcecode (meistens Spleeter von Deezer) auf und sind nur reine Buisnessmodelle für Sachen, welche man lokal auf dem eigenen Rechner auch berechnen lassen kann.
 

Oft gelesene Themen

Zurück
Oben