KI-Training

[Turquoise]

Ich lese immer wieder, die KI "trainiert" mit bekannten Songs.

Wie muss man sich dieses Training vorstellen? Gibt es da im Programm einen Rhythmik-, einen Harmonie- und einen Melodie Analyzer, der ständig abspeichert, wie sich diese drei Elemente zueinander verhalten?

Wenn ja - zieht dieses Programm dann eigenständig Schlüsse, was funktioniert?

Wie kommt die KI dazu, etwas, das nur für unsere Ohren nicht funktioniert, man aber theoretisch machen könnte, nicht anzubieten?

Sieht der Lernprozess der KI so aus, dass sie sich selbst "Aha, so kann man das also auch machen" sagt, wenn sie mit einer neuen Lösung gefüttert wird, die sie bislang nicht kannte?

Falls ja - wie abstrahiert sie das dann, um bei ihrem nächsten eigenen Vorschlag eine Abwandlung davon anbieten zu können?

Fragen über Fragen...

 

[Schludi]

Ich lese immer wieder, die KI "trainiert" mit bekannten Songs.

Wie muss man sich dieses Training vorstellen? Gibt es da im Programm einen Rhythmik-, einen Harmonie- und einen Melodie Analyzer, der ständig abspeichert, wie sich diese drei Elemente zueinander verhalten?

Es wird ein neuronales Netz trainiert. Dieses neuronale Netz besteht aus Input-Neuronen, versteckten Neuronen (Hidden-Layers) und Output-Neuronen.

Beim "überwachten Lernen" gibt man ihm etwas vor (z.B. ein Bild mit einem gefallenem Würfel) und sagt anschließend ob es richtig oder falsch ist, oder eben WAS es ist (es wurde z.B. eine 6 gewürfelt das sollte er wissen). Entsprechend des zu erwartenem Outputs wählt man die Anzahl der Output-Neuronen.

Nun gibt es diverse Algorithmen wie z.B. "Backpropagation", die fetzen bei jedem Input, was angelegt ist über das Netz drüber und gewichten die Hidden- und Output-Neuronen so, dass mit höchstmöglicher Wahrscheinlichkeit die Zahl raus kommt wenn du das gleiche anlegst (also der Weg dorthin wird anders gewichtet).

Ab einer gewissen trainierten Menge an Bildern ist es irgendwann selber dazu in der Lage untrainierte Bilder zu erkennen.

Wenn ja - zieht dieses Programm dann eigenständig Schlüsse, was funktioniert?

Anhand der Gewichte im neuronalen Netz ist im obigen Beispiel das Netz in der Lage untrainierte Bilder zu analysieren. Es hat Muster erkannt und weiß wohin diese Muster führen.

Wie kommt die KI dazu, etwas, das nur für unsere Ohren nicht funktioniert, man aber theoretisch machen könnte, nicht anzubieten?

Bei solchen KI's wie SUNO wird unüberwachtes Lernen genutzt. Da dürfen dann nur Songs trainiert worden sein, die auch einen gewissen Erfolg haben.

Sieht der Lernprozess der KI so aus, dass sie sich selbst "Aha, so kann man das also auch machen" sagt, wenn sie mit einer neuen Lösung gefüttert wird, die sie bislang nicht kannte?

Beim unkontrollierten Lernen können verschiedene Lern-Algorithmen verwendet werden (wie z.B. Backpropagation). Diese Lernalgorithmen brauchen dann keinen Output wie im obigen Beispiel oben sondern gewichten die Neuronen nur anhand von Inputs. Da gibt es kein richtig oder falsch - die Qualität der Inputs muss aber da gewesen sein. Durch die erkannten Muster (oft kommen dabei statistische Verfahren für Segmentierung zum Einsatz) ist die KI anschließend selber in der Lage eigene Outputs zu erstellen.

Falls ja - wie abstrahiert sie das dann, um bei ihrem nächsten eigenen Vorschlag eine Abwandlung davon anbieten zu können?

Fragen über Fragen...

Tatsächlich ist es so, dass bei diesen aktuellen generativen KI's noch wesentlich mehr dabei ist als nur ein einziges neuronales Netz. Wenn du mit Sprache arbeitest, braucht man ein Verfahren "Word Embeddings", was Worte in multidimensionale Vektoren umwandelt. Ansonsten kannst du ihm nicht sagen was du willst.

Ein Netz, was eine kritische Menge an gelerntem Input erreicht hat, besitzt emergente Fähigkeiten und ist in der Lage neue Dinge zu erschaffen, mit dem es nicht trainiert wurde. Dafür muss die Größe des neuronalen Netzes aber eine gewissen Dimension erreicht haben.

Emergenz – Wikipedia

de.wikipedia.org

So ich muss wech sorry

 

[Turquoise]

braucht man ein Verfahren "Word Embeddings", was Worte in multidimensionale Vektoren umwandelt

Das kann ich mir noch vorstellen.

Aber für Neuronen in der KI reicht's dann nicht mehr.

 

[Entone]

Was da genau vor sich geht, wird wohl keiner je erfahren. Denn das ist deren Geschäftsgeheimnis und der Grund, warum diese Unternehmen Fantastilliarden Dollar wert sind. Und das ist auch das massive Problem, das ich mit der KI Geschichte hab: der Kontrollverlust.

 

[Schludi]

Aber für Neuronen in der KI reicht's dann nicht mehr.

Ja das haben wir im Prinzip auch im Gehirn, ein Neuron ist quasi eine Nervenzelle. Um sich von der biologischen Form abzugrenzen nennt man es immer "künstliches Neuron" anstelle von nur Neuron.

Künstliches Neuron – Wikipedia

de.wikipedia.org

Die einfachste Form eines neuronalen Netzes ist ein Perzeptron und das wird gerne zur Veranschaulichung genutzt:

Perzeptron – Wikipedia

de.wikipedia.org

 

[Schludi]

Was da genau vor sich geht, wird wohl keiner je erfahren. Denn das ist deren Geschäftsgeheimnis und der Grund, warum diese Unternehmen Fantastilliarden Dollar wert sind. Und das ist auch das massive Problem, das ich mit der KI Geschichte hab: der Kontrollverlust.

Wir hatten mal einen mittlerweile verstorbenen Professor mit einem extrem starken russischen Akzent, der auch maßgeblich an der KNN-Entwicklung mit beteiligt war. Er hatte auch irgendeinen Algorithmus entwickelt der immer in der Literatur genannt wurde, da hat er sich auch nicht nehmen lassen sich selbst zu zitieren. Damals war das Thema aber nicht so populär sondern ein Untergebiet für "Wissensbasierte Systeme" zu dem z.B. auch Fuzzy-Regler gehören. Alles was irgendwie mit unscharfer Logik verbunden ist wurde da behandelt.

Das ganze ist Trial-On-Error mit viel Testen ...
Der hatte ein Beispiel genannt, wo ein neuronales Netz für das Militär trainiert wurde. Es hatte einen großen Datensatz von Satellitenfotos mit Zivilfahrzeugen und Militärfahrzeugen bekommen und hatte nur ein einziges Output-Neuron in dem es die Frage beantworten sollte : "Militär?" ... falls nein -> Zivil. Mit den trainierten Bildern hat das sehr gut geklappt, bei neuen Bildern komischerweise nicht. Sie haben versucht herauszufinden wie das sein kann.
Das Ende vom Lied war dann, dass das Netz beim Trainieren folgendes Muster gelernt hat:
"Schatten fällt nach links" -> Militär
"Schatten fällt nach rechts" -> Zivil
Also: Die Militärfahrzeuge wurden morgens fotografiert; die Zivilfahrzeuge wurden abends fotografiert.

Fazit: Du weißt nie genau was das Netz gelernt hat.

 

[jet2]

Was da genau vor sich geht, wird wohl keiner je erfahren. Denn das ist deren Geschäftsgeheimnis und der Grund, warum diese Unternehmen Fantastilliarden Dollar wert sind. Und das ist auch das massive Problem, das ich mit der KI Geschichte hab: der Kontrollverlust.

es gibt sehr viele open source ki applikationen.
die kommerziellen funktionieren auch nicht grundlegend anders.
die nehmen sich oft open source code, erweitern ihn und trainieren ein bisschen besser...

das hauptproblem ist, dass man für ein training für zb. stable diffusion eine rechenleistung braucht, die kein homecomputer bieten kann.
selbst das training von lora's (low rank adaptation, kleinere grafische zusatzmodelle) ist mit gpu's mit vram unter 20 gb nicht möglich.
(und wer hat shon so ne gpu...)

 

[Lacunaflow]

Was da genau vor sich geht, wird wohl keiner je erfahren.

Audiocraft ist open source:

AudioCraft - Meta AI

AudioCraft is a single-stop code base for all your generative audio needs: music, sound effects, and compression after training on raw audio signals.

ai.meta.com

 

[Schludi]

das hauptproblem ist, dass man für ein training für zb. stable diffusion eine rechenleistung braucht, die kein homecomputer bieten kann.
selbst das training von lora's (low rank adaptation, kleinere grafische zusatzmodelle) ist mit gpu's mit vram unter 20 gb nicht möglich.
(und wer hat shon so ne gpu...)

Stable Diffusion ist laut Wikipedia ein GAN,
"Stable Diffusion is a latent diffusion model, a kind of deep generative artificial neural network."
Ist das Modell denn dafür vorgesehen es weiterzutrainieren? Sind die Dimensionen des Netzes (Größe) da schon vorgegeben?

Und vor allem: Ist bei dem was man runterladen kann, der Diskriminator dabei? Den bräuchte man ja damit der Generator besser wird.

Ein GAN besteht aus einem Diskriminator und einem Generator, wobei beides autarke neuronale Netze sind.

Aufgabe vom Diskriminator ist es echte von generierten Bildern zu unterscheiden.
Aufgabe vom Generator ist es Bilder zu generieren und diese dem Diskriminator zu geben. Er wird belohnt, wenn der Diskriminator das echte Bild nicht mehr von einem generiertem Bild unterscheiden kann.
Beide Netze lernen während jedem Zyklus ständig weiter und werden besser.

Vorteil hierbei ist, dass der Generator niemals die echten Trainingsdaten zu Gesicht bekommt und deswegen auch nicht von diesen Abschnitte klauen kann. Er versucht die Verteilung der Daten aber zu imitieren (z.B. durch Convolutional Layers). Man spricht dabei auch von "Faltungsschichten" die über einen Filter die Eigenschaften des Bildes auf einen kleineren Bereich abbilden können, der leichter von kleineren GPUs verarbeitet werden kann.
Dadurch kann er auch nicht einfach Abschnitte von Bildern kopieren, da er ja nur über die Faltungsschichten die Eigenschaften des Bildes lernt (Stichwort Urheberrecht).

Also ich meine, wenn man Stable Diffusion mal weg lässt könnte man es ja mal selber probieren ein kleineres Netz zu trainieren.

Das wir dafür keine 100 Mio EUR Budget bekommen werden, wie es bei Stable Diffusion der Fall war um es z.B. auf einem Quantencomputer zu trainieren, können wir dann mal ausblenden .

Oder wir holen uns nen Sponsor, nehmen die Kohle, verduften und kaufen uns hier ne Insel auf der wir den Rest unseres Lebens verbringen:

Vladi-Private-Islands - Islands for Sale and Rent Worldwide

Discover hundreds of islands for sale & exclusive island rentals with Vladi Private Islands – the record-breaking international island consultancy with over 2,400 sales.

www.vladi-private-islands.de

 

[Turquoise]

@Schludi

Danke für Deine Beiträge. Da ist einiges an Wissen . . .

Fazit: Du weißt nie genau was das Netz gelernt hat.

Extrem spannend. Für mich pure Science Fiction.

 

[ModulationMatrix]

Für mich ist das alles schon eine Ebene zu hoch. Ich würde gerne wissen was wirklich reingefüttert wird (das werden wohl fertige Songs als wav o.ä. sein) und welche datenstrukturen konkret abgelegt werden. Vermutlich wird intern eine Art stem separation angeworfen? Und dann? Irgendwie müssen ja die audiodateien zerkleinert, organisiert und wieder zu einem Produkt zusammengesetzt werden. das müsste man doch ganz anschaulich beschreiben können?

 

[Entone]

Für mich ist das alles schon eine Ebene zu hoch. Ich würde gerne wissen was wirklich reingefüttert wird (das werden wohl fertige Songs als wav o.ä. sein) und welche datenstrukturen konkret abgelegt werden. Vermutlich wird intern eine Art stem separation angeworfen? Und dann? Irgendwie müssen ja die audiodateien zerkleinert, organisiert und wieder zu einem Produkt zusammengesetzt werden. das müsste man doch ganz anschaulich beschreiben können?

Geschäftsgeheimnis. Niemand verrät das Geheimnis der Spezialsoße.


View: https://www.youtube.com/watch?v=lkJqNDX8VfE

 

[ModulationMatrix]

Naja nee, es gibt ja auch Open source Projekte, von daher alles offen zugängliches Wissen.

 

[Schludi]

Naja nee, es gibt ja auch Open source Projekte, von daher alles offen zugängliches Wissen.

Open Source bringt dir auch nix wenn sie nur einen Graph von gewichteten Neuronen abbildet. Das Netz ist das Herz. Das kann mit Open Source trainiert sein. Verstehen tust du es dadurch nicht. Das ist wie eine riesen Zahlenmatrix mit Gewichten die durch das Training entsteht.

 

[Schludi]

Für mich ist das alles schon eine Ebene zu hoch. Ich würde gerne wissen was wirklich reingefüttert wird

Ich schätze Spotify. Das ist alles viel Statistik für Datensegmentierung. Könnte bei Suno so was wie Amplitudenwert zu Zeitstempel als Input-Neuronen sein.

Beim Generieren: Die Sprachengine heisst laut Internet BARK

GitHub - suno-ai/bark: 🔊 Text-Prompted Generative Audio Model

🔊 Text-Prompted Generative Audio Model. Contribute to suno-ai/bark development by creating an account on GitHub.

github.com

Wenn es so ist spielen da mehrere neuronale Netze zusammen. Das wäre evtl. etwas was du sehen könntest, aber das Netz selber kann ein Mensch nicht verstehen. Vermutlich ist da eins obendrüber, was die Koordination zwischen denen (BARK und co.) macht.

 

[Schludi]

welche datenstrukturen konkret abgelegt werden.

Ein neuronales Netz kannst du wie eine Datenstruktur sehen. Du kannst natürlich um jegliches Verständnis rumkommen wenn du deren Existenz leugnest ...
Bester Ansatz ist aber zu verstehen, wie sie entstehen und was man damit sonst so machen kann. Das danach viel Trial-On-Error passiert ist halt der Sache geschuldet, dass man nie genau weiß WAS das Netz konkret gelernt hat (bzw. welche Muster es erkannt hat). Das muss man testen.

 

[Schludi]

Geschäftsgeheimnis. Niemand verrät das Geheimnis der Spezialsoße.

View: https://www.youtube.com/watch?v=JNe8qgR77SQ

 

[Carcinome]

Danke @Schludi
Und wie läuft die Synthese (Rendern) ab?

 

[ModulationMatrix]

Ein neuronales Netz kannst du wie eine Datenstruktur sehen. Du kannst natürlich um jegliches Verständnis rumkommen wenn du deren Existenz leugnest ...
Bester Ansatz ist aber zu verstehen, wie sie entstehen und was man damit sonst so machen kann. Das danach viel Trial-On-Error passiert ist halt der Sache geschuldet, dass man nie genau weiß WAS das Netz konkret gelernt hat (bzw. welche Muster es erkannt hat). Das muss man testen.

Leugnen tu ich bestimmt nix. Aber ich würde gerne auf unterster Ebene verstehen wie das abläuft. Also da kommt Musik als wav rein, wo geht das hin? Abstrakte Konzepte wie Neuronen müssten dazu genauer erklärt werden. Wenn ich nur lese Neuron, und Gewichtung, dann weiß ich noch nicht wie jetzt Audiomaterial wo und wie landet.

Eigentlich kann man bisher jedes noch so komplexe Vorgehen durch schematisches Vereinfachen trotzdem verständlich machen. Ich meine selbst ne FFT ist mathematisch ziemlich abgespaced, und trotzdem kann man sich die Transformation von Audio aus Zeit- in Frequenzebene zumindest formal vorstellen.

Ist es bei der KI tatsächlich so dass bloß einzelne Amplitudenwerte, also Einzel-Samples, in einer riesen teufelsdimensionalen Matrix landen deren Datenstruktur kein Mensch mehr nachvollziehen kann weil zu komplex, und die Organisation dieser Daten letztendlich auf ebenfalls nicht nachvollziehbare Weise in dem neuronalen Netz steckt?
Muss man doch irgendwie konkreter erklären können, denke ich mir. Was genau ist ein Neuron in diesem Anwendungsfall?

Lehrreich wäre vielleicht, diese KI beim einfüttern des allerersten Trainings-Songs zu beobachten. Wie sieht die "Datenbank" danach aus, in welcher Form findet sich dieser Song im Netzwerk wieder?
Und was würde sie als Output produzieren, wenn man es bei diesem mageren Training belässt? Mal einfach ein Gedankenexperiment.

 

[ModulationMatrix]

Übrigens hab ich bei mp3 Kodierung das gleiche Problem, hab ich bis heute nicht verstanden. Es gibt Webseiten/Artikel da steht übelst technisches Zeug was kein Normal-Otto versteht. Und dann gibts Webseiten/Artikel wo es immer blumig heisst "da werden psychoakustische Phänomene genutzt um unwichtiges wegzukürzen". Mir fehlt da ein Verbindungsglied zwischen diesen beiden Ebenen.
Ist eigentlich ne Aufgabe für Wissenschaftsjournalismus. Müsste mal googeln obs dazu jeweils ne GEO Ausgabe gibt oder so.