KI-Training

[Realist]

Und jetzt aber ein Gesamtes quasi aus dem Nichts zu erstellen scheint mir vom Rechenprozess her noch unbegreiflicher.

Warum? Letztendlich ist doch alles berechenbar.
Töne bestehen aus Frequenzen und wir als Musiker nutzen das tagtäglich. Die Gitarre stimmen wir meist auf a 440Hz.
Davon ausgehend hat man schon die Möglichkeit die Harmonielehre abzuleiten.
Instrumente bestehen aus Obertönen. Die sind halt auch wichtig für die Erkennung eines Instruments.
FM-Synthese ist z.B. für mich auch unbegreiflich, aber Du kannst daraus auch so jeden Sound basteln den es gibt.
Die zeitliche Komponente wie lange etwas ausklingt, hatten wir auch schon. Gehört auch irgendwie dazu.
Desweiteren kann ich es mir auch als eine Art von Spectralanalyse vorstellen. Da kannst Du ja sogar selbst etwas weg- oder hinzufügen.
Ich hatte irgendwo gelesen, dass man anfangs viel mit Midi experimentiert hat, weil dort die Daten kleiner gehalten werden konnten.
AIVA sei genannt. Das gibt es schon ein paar Jahre.
Audio to Midi gibt es z.B. auch nicht erst seit gestern. Andersherum genauso.

Mit dem neuronalen Netzwerken ist es genauso. Das ist halt inspiriert von unseren biologischen Neuronen im Gehirn.
Und das unser Gehirn ein Wunderwerk ist, wissen wir ja alle. Das finde ich zumindest unbegreiflich.

Hier nochmal näher erklärt, was Schludi meint.

Künstliche neuronale Netze basieren meist auf der Vernetzung vieler McCulloch-Pitts-Neuronen oder leichter Abwandlungen davon. Die Topologie eines Netzes (die Zuordnung von Verbindungen zu Knoten) muss im Hinblick auf seine Aufgabe gut durchdacht sein. Nach der Konstruktion eines Netzes folgt die Trainingsphase, in der das Netz „lernt“. Theoretisch kann ein Netz durch folgende Methoden lernen:

• Entwicklung neuer Verbindungen
• Löschen existierender Verbindungen
• Ändern der Gewichtung (der Gewichte der Verbindung w i j
  
  von Neuron j
  
  zu Neuron i
  
  )
• Anpassen der Schwellenwerte der Neuronen, sofern diese Schwellenwerte besitzen
• Hinzufügen oder Löschen von Neuronen
• Modifikation von Aktivierungs-, Propagierungs- oder Ausgabefunktion

Außerdem verändert sich das Lernverhalten bei Veränderung der Aktivierungsfunktion der Neuronen oder der Lernrate des Netzes. Praktisch gesehen „lernt“ ein Netz hauptsächlich durch Modifikation der Gewichte der Verbindungen zwischen den Neuronen. Eine Anpassung des Schwellenwertes kann hierbei durch ein on-Neuron miterledigt werden. Dadurch sind KNNs in der Lage, komplizierte nichtlineare Funktionen über einen „Lern“-Algorithmus, der durch iterative oder rekursive Vorgehensweise aus vorhandenen Ein- und gewünschten Ausgangswerten alle Parameter der Funktion zu bestimmen versucht, zu erlernen. KNNs sind dabei eine Realisierung des konnektionistischen Paradigmas, da die Funktion aus vielen einfachen gleichartigen Teilen besteht. Erst in ihrer Summe kann deren Verhalten im Zusammenspiel sehr vieler beteiligter Teile komplex werden. Ein neuronales Netz, das deterministisch beschrieben wird und Rückkopplungen erlaubt, stellt unter dem Gesichtspunkt der Berechenbarkeit ein äquivalentes Modell zur Turingmaschine dar.[5] D.h. zu jedem Netz gibt es mindestens eine Turingmaschine und zu jeder Turingmaschine gibt es mindestens ein Netz mit Rückkopplung. Bei einer stochastischen Beschreibung ist dies nicht der Fall. Rekurrente Netze sind damit die ausdrucksstärkste Form (Typ 0 in der Chomsky-Hierarchie).

Künstliches neuronales Netz – Wikipedia

de.wikipedia.org

 

[Turquoise]

Ich finde die Erklärung viel zu kompliziert, um sie einem Menschen, der kein IT-ler ist, verständlich zu machen. Wenn ich (das Stichwort fiel weiter vorn) Wissenschaftsjournalist wäre, und müsste einen Artikel schreiben, indem ich die Funktion künstlicher neuronaler Netzwerke beschreibe, würde ich als erstes nach Vergleichen suchen. Zweitens nach Reduzierung der Komplexität - also: wie kann ich es ganz einfach beschreiben, so dass es immer noch richtig ist.

Bisher gab es bei allen dankenswerten Versuchen keinen, dem das wirklich gelungen ist.

Töne bestehen aus Frequenzen und wir als Musiker nutzen das tagtäglich. Die Gitarre stimmen wir meist auf a 440Hz.
Davon ausgehend hat man schon die Möglichkeit die Harmonielehre abzuleiten.
Instrumente bestehen aus Obertönen. Die sind halt auch wichtig für die Erkennung eines Instruments.

Das ist schon alles nachvollziehbar. Und wenn es nur das wäre, hätte ich auch keine Frage. Darum war es für mich auch nie rätselhaft, dass Klänge synthetisch erzeugt werden können.

Aber was die KI macht ist Dimensionen mehr als das. Sie erzeugt eben nicht nur Klänge, sondern komplexe Sinnzusammenhänge.

Ich hatte das weiter vor schon einmal am Beispiel von Texten beschrieben. Synthetische Klangerzeugung ist, als würde man einzelne Buchstaben oder Worte künstlich erzeugen. Kein Problem. Aber KI-Musik ist, als würde eine Maschine Texte schreiben. Dazu muss sie zunächst einen vorausgesetzten Sinn (-> Information) haben, mit dem sie arbeiten kann. Bei Text-KIs wird der Sinn durch die Eingabeparameter vorgegeben: schreibe mir einen Text zum Thema XXX mit dem Inhalt XXX.

Aber bei KI-Musik ist die Eingabe (der vorausgesetzte Sinn) auch Text . . . heraus kommt aber Musik.

Wie kann eine Musik-KI Text in komplexe Klangmuster, die tatsächlich einen musikalischen Sinn haben, umwandeln? Dazu genügt mir der Verweis auf die Funktionsweise neuronaler Netzwerke nicht. Weil diese keine Ausgangsinformation erzeugen können, die sie dann verarbeiten.

 

[Sascha Franck]

Das sieht man daran, dass es bis heute kein Programm gibt, dass aus einer mp3 wieder eine wav machen kann.

Ich denke, dass es schon genug Algorithmen gibt, die etwaige Verluste kaschieren können. Das Original exakt wiederherzustellen kann natürlich nicht gelingen ohne dass Original zwecks Vergleich zu haben.

Ansonsten denke ich, dass das bei Klängen schon so funktionieren kann wie bei Bildern (tut's ja auch), aber mir geht es nicht unähnlich, das ist halt etliche Ebenen über dem, was sich mir irgendwie tatsächlich erschließen würde, auch wenn ich die Prozesse dahinter zumindest erahne.
Ich finde das übrigens maximal bedenklich. Wir nutzen da Technologien, bei denen uns die Auswirkungen aufgrund von Unkenntnis der Funktion an sich vollkommen unbekannt sind. Das von Schludi angeführte Beispiel mit den Militärgerätschaften, die letztendlich nur aufgrund des Schattenwurfs als solche eingestuft wurden, ist schon sehr erschreckend. "Ach, du warst gar kein Feind, bist nur zur falschen Uhrzeit da rumgelaufen? Sorry, tut uns leid, die Nummer mit der Drohne!".

 

[ollo123]

Aber bei KI-Musik ist die Eingabe (der vorausgesetzte Sinn) auch Text . . . heraus kommt aber Musik.

Wie kann eine Musik-KI Text in komplexe Klangmuster, die tatsächlich einen musikalischen Sinn haben, umwandeln? Dazu genügt mir der Verweis auf die Funktionsweise neuronaler Netzwerke nicht. Weil diese keine Ausgangsinformation erzeugen können, die sie dann verarbeiten.

Im Grunde ist das der KI egal ob das Musik, Bilder oder Texte sind. Das sind alles irgendwie Zahlenwerte die zu einem Verhältniss stehen.

Grob gesagt trainiert man eine Text KI so, dass sie möglichst die passenden Wörter hintereinander reiht.

Also: Der Hund jagt die... Katze, Maus, Anaconda. Wenn die KI mit genug Text trainiert wurde, weiß sie das auf "Der Hund jagt die" immer Katze folgt, eigentliche nie Maus und schon gar nicht Anaconda. Und bei Musik ist das ähnlich aber viel abstrakter.

 

[Sascha Franck]

Davon ausgehend hat man schon die Möglichkeit die Harmonielehre abzuleiten

Nein, das reicht dafür bei weitem nicht aus. Harmonielehre hat eine ganz starke kulturelle Komponente (bzw. gibt's eine Mischung mehrere kultureller Komponenten), Kammertöne und Obertonreihen sind da vollkommen unzulänglich, gerade in einem temperierten System. Und auch die diversen harmonischen Herleitungen sind mitnichten naturgegeben oder lassen sich aus reiner Analyse ableiten - da muss die AI also irgendetwas mit auf den Weg bekommen haben. Die von Schludi erwähnte Verschlagwortung würde ich da für gewisse Dinge bspw. als relativ tauglich erachten.

 

[Sascha Franck]

Und bei Musik ist das ähnlich aber viel abstrakter.

Nein, nicht nur abstrakter - sondern auch gewissermaßen unwahrscheinlicher. Eine Dominante (deren Wesen die KI ja übrigens auch erst einmal irgendwie einzuschätzen in der Lage sein muss) bewegt sich eben nicht immer zur Tonika.

 

[ollo123]

Ich finde das übrigens maximal bedenklich. Wir nutzen da Technologien, bei denen uns die Auswirkungen aufgrund von Unkenntnis der Funktion an sich vollkommen unbekannt sind. Das von Schludi angeführte Beispiel mit den Militärgerätschaften, die letztendlich nur aufgrund des Schattenwurfs als solche eingestuft wurden, ist schon sehr erschreckend. "Ach, du warst gar kein Feind, bist nur zur falschen Uhrzeit da rumgelaufen? Sorry, tut uns leid, die Nummer mit der Drohne!".

Mittlerweile gibt es aber irgendein System, mit dem man herausbekommt, wie die KI "denkt" und wo die Fehler gemacht werden. Ich weiß aber nicht mehr, wie genau das war, vermutlich habe ich das in einer CT Ausgabe gelesen.

Jedenfalls gibt es etliche Beispiele. KI hat zb die Hautkrankheit nicht erkannt, weil da eben eine Hautkrankheit war, sondern weil auf den Beispielfotos oft die Hautkrankheit schon mit einem Stift eingekreist war oder ein Pflaster zu sehen war, also hat die das zugeordnet. Oder der Giftpilz wuchs auf den Beispielbildern vor einem bestimmten Baum und auf Fotos von Wölfen war immer Schnee zu sehen, also hat die KI Wölfe mit Schnee in Verbindung gebracht, Hunde waren ohne Schnee.

 

[ollo123]

Nein, nicht nur abstrakter - sondern auch gewissermaßen unwahrscheinlicher. Eine Dominante (deren Wesen die KI ja übrigens auch erst einmal irgendwie einzuschätzen in der Lage sein muss) bewegt sich eben nicht immer zur Tonika.

Deswegen ist dann wohl zuerst Text und Bild KI entstanden, weil das wohl einfacher umzusetzen ist. Für Musik muss der Datensatz dann wohl größer sein.

Ist ja auch irgendwie nachvollziehbar finde ich. Text hat ja verhältnissmäßig einfache Regeln und besteht aus einer Kombination von wenigen Buchstaben und Zahlen, bei Klang von 20 bis 20000Hertz ist die Informationsdichte und Komplexität wesentlich größer.

 

[Realist]

Nein, das reicht dafür bei weitem nicht aus. Harmonielehre hat eine ganz starke kulturelle Komponente (bzw. gibt's eine Mischung mehrere kultureller Komponenten), Kammertöne und Obertonreihen sind da vollkommen unzulänglich, gerade in einem temperierten System. Und auch die diversen harmonischen Herleitungen sind mitnichten naturgegeben oder lassen sich aus reiner Analyse ableiten - da muss die AI also irgendetwas mit auf den Weg bekommen haben. Die von Schludi erwähnte Verschlagwortung würde ich da für gewisse Dinge bspw. als relativ tauglich erachten.

War nur ein Beispiel.
Die KI wird ja anhand von verschiedenen Songs trainiert.
Mit dem Scannen der Produktionsmusik von Pond5 und Aufbau einer Datenbank nach Genres hatte ich ja schon weiter vorne erörtert. Die Songs sind eh schon nach Stimmung, Tonhöhe, Genre, BPM getagged. Besseres Trainingsmateril gibt es ja nicht.

Aus dieser Datenbank werden dann die Wahrscheinlichkeuten berechnet. Sag ich mal im Laiensprech.
Also welcher Akkord oder Ton könnte als nächstes gespielt werden.
Diese ganzen kulturellen Komponenten würde ich mal ausblenden. Es wird auch in naher Zukunft keine komplexen Stücke geben.
Desweiteren göaube ich auch, dass es da kein "einfaches" Erklären gibt, wie z.B. bei MP3.
Das Thema ist für uns Laien zu komplex.
Ahnlich der "einfachen" Erklärung "Wie funktioniert technisch ein Plugin"
Man kennt zwar die Bezeichnungen wie VST 2/, AU etc. Aber wie das technisch programmiert wird und was da unter der Haube passiert, davon haben wir Null Ahnung. Ist halt Code.

Wer sich da weiter mit beschäftigen möchte, muss halt recherchieren.
Was ich noch rausbekommen habe ist, dass es unterschidliche Algos und Programme gibt, womit das Lernen anstösst.
Welche Tools und Algos da jetzt von den Herstellern genutzt und zusammen verknüpft wird, bleibt deren Geheimnis.
Ich hatte jetzt auch schon diverse Links bereitgestellt.
Hier nochmal welche. Lest Euch auch bitte durch. Vielleicht kommt man dann irgendwann ich die Nähe des "Verstehens".
Wenn es so einfach zu erklären wäre, würde es ja bestimmt irgendwo einen Artikel eines Journalisten geben. Ich habe noch keinen gefunden.

How to Generate Music with AI

www.rootstrap.com

MusicVAE: Creating a palette for musical scores with machine learning.

When a painter creates a work of art, she first blends and explores color options on an artist’s palette before applying them to the canvas. This process is ...

magenta.tensorflow.org

How-To: Creating Music with AI Music Generators | Soundful

Learn how to create music using AI music generators with this how-to guide! Discover what generative AI is, how it works, and learn helpful tips.

soundful.com

 

[Realist]

Ach so, und Cubase kann mittlerweile auch mehr oder weniger Akkorde in Audiodateien erkennen.
Interessant ist folgender Punkt:
Sie haben auf einer Audiospur ein Audio-Event mit Audiomaterial hinzugefügt, das als Akkorde interpretiert werden kann, in dem also drei oder vier unterschiedliche Tonhöhen von Noten gleichzeitig klingen. Das Audiomaterial sollte westliche Musik mit 12 Tonhöhen pro Oktave bei gleichstufiger Stimmung enthalten.

 

[Sascha Franck]

Ach so, und Cubase kann mittlerweile auch mehr oder weniger Akkorde in Audiodateien erkennen.

Naja, das kann Melodyne ja schon lange.

 

[jet2]

suno basiert auf bark.
kann man sich auf dem eigenen rechner installieren
(am besten bark infinity)

GitHub - suno-ai/bark: 🔊 Text-Prompted Generative Audio Model

🔊 Text-Prompted Generative Audio Model. Contribute to suno-ai/bark development by creating an account on GitHub.

github.com

bark interface gibt es hier:

GitHub - JonathanFly/bark: 🚀 BARK INFINITY GUI CMD 🎶 Powered Up Bark Text-prompted Generative Audio Model

🚀 BARK INFINITY GUI CMD 🎶 Powered Up Bark Text-prompted Generative Audio Model - JonathanFly/bark

github.com

 

[jet2]

bark hab ich übrigens schon letztes jahr, lange bevor suno rauskam, auf meinem rechner gehabt.
damals hatte ich auch einen fred dazu gepostet, der offensichtlich als clickbait aufgefasst wurde...
(damals ahnte man wahrscheinlich noch nicht dass das bald die basis für eine revolution in der musikwelt werden könnte...)

https://recording.de/threads/whaaat-meine-ai-spricht-bayerisch.258345/

 

[Realist]

Naja, das kann Melodyne ja schon lange.

Na ja eben, deshalb verstehe ich nicht warum das alles so ein Hexenwerk sein soll, z.B. mit den Akkorden analysieren.
Ähnlich mit Spectrallayer, was ja auch ein "Klangabbild" ergibt, was ich vorhin erwähnte.
Die "Technologien" sind doch schon jahrelang auf dem Markt.
Wie jetzt einzelne Firmen das jetzt nutzen, den Algo gestalten und auf das nueronale Netz "loslassen", da wird jede Firma vielleicht etwas anders dran gehen.

Nachtrag: Ausserdem geht es in dem von mir erwähnten Posting um das dick Gedruckte.
Westliche Musik mit 12 Tönen pro Oktave. Das war die Antwort auf deine temperierte Stimmung und kulturelle Komponente.

 

[Lacunaflow]

Künstliche Intelligenz: Diese Excel-Tabelle zeigt euch, wie GPT-Modelle funktionieren

Wolltet ihr schon immer die Grundzüge einer KI verstehen? Dabei hilft euch jetzt eine Excel-Tabelle Schritt für Schritt.

t3n.de

 

[jet2]

das akkord-erkennungsding hatte studio one basierend auf melodyne schon vor langer zeit als erste daw eingeführt.
ich nehme aber an, dass das völlig ohne ki funktioniert hat.

 

[Turquoise]

Im Grunde ist das der KI egal ob das Musik, Bilder oder Texte sind. Das sind alles irgendwie Zahlenwerte die zu einem Verhältniss stehen.

Ich will nicht sagen, das glaube ich nicht - weil ich es nicht weiß - aber ich kann es mir nicht vorstellen. Weil ich weiß, dass Musik (wie gesagt) um Dimensionen höher und komplexer ist, als Bilder.

Was ist denn Musik?

Musik ist Luft - schwingende Luft. Luft die auf eine unvorstellbar komplexe Weise so mit auf Information basierender Energie zum Schwingen gebracht wurde, dass sich für unsere Rezeptoren im Hirn ein Sinn daraus ergibt. Der Sinn steckt bereits in der Welle, der mit Information aufgeladenen Luftbewegung, drin, während bei einem Bild unser Hirn den Sinn in die Formen und Farben erst nachträglich hinein deutet.

Das ist der Unterschied. Das ist nicht irgendein Unterschied. Der ist kategorisch - wie der Unterschied zwischen Leben und Tod. Zumindest aber wie der zwischen Henne und Ei.

 

[Schludi]

Vergleicht euch nicht mit der KI. Ihr habt aufgrund eurer eigenen, individuellen Erfahrungen bestimmte Merkmale verinnerlicht, die ihr beim Erstellen eigener Werke versucht umzusetzen. Ihr habt euch nur das angeeignet was euch selbst gefällt. Dabei ward ihr an eure physischen Grenzen und eure Vorstellungskraft gebunden. Das was rauskommt ist dann was individuelles und nicht exakt das was ihr raushauen wolltet. Bestenfalls habt ihr euch daran angenähert. Nur in der Rubrik ist KI voraus -> sie kann imitieren (Stimmfarben usw...). Ihr müsst euren Werken immer eure eigene künstlerische Note verleihen, so dass irgendein SUNO-Nachfolger euch trainieren möchte weil ihr gut ankommt ... Viele Grüße!

 

[ollo123]

Musik ist Luft - schwingende Luft. Luft die auf eine unvorstellbar komplexe Weise so mit auf Information basierender Energie zum Schwingen gebracht wurde, dass sich für unsere Rezeptoren im Hirn ein Sinn daraus ergibt. Der Sinn steckt bereits in der Welle, der mit Information aufgeladenen Luftbewegung, drin, während bei einem Bild unser Hirn den Sinn in die Formen und Farben erst nachträglich hinein deutet.

Wo ist denn da der Unterschied? Ob ich den Kuckuck jetzt höre und dabei Schallwellen von dem Vogel auf mein Gehör treffen und vom Gehirn als Kuckuck interpretiert werden oder ob Lichtwellen bzw Teilchen auf meine Augen treffen und das Gehirn das als Kuckuck interpretiert ist doch vom groben Prinzip her das gleiche. Genauso bei Musik oder einem Gemälde.

 

[Sascha Franck]

Na ja eben, deshalb verstehe ich nicht warum das alles so ein Hexenwerk sein soll, z.B. mit den Akkorden analysieren.

Die Analyse ist kein Hexenwerk. Sie zielgerecht zum Einsatz zu bringen aber schon.