Mh. Nein. So funktioniert das nicht. AI braucht keine riesige Datenbanken auf die sie für den Prozess zugreift. Es wird nicht ein einziger Pixel eines schon existierenden Bildes oder Videos für die Bild oder Videoerstellung verwendet. Da wird auch nichts irgendwie umgeformt oder neu zusammengefügt. So funktioniert AI nicht.
Ich hole mal ein wenig aus.
Der Prozess ist folgender. Wie einem kleinen Kind zeigst du der AI zum Beispiel immer wieder Bilder von zum Beispiel Äpfeln. Bis die AI verstanden hat, aha, ist rund, hat nen Stengel dran, unten so ein puscheliges Dingelchen, hat die und die Oberflächenstruktur, eine Seite kann auch mal rot sein. So und so sehen Variationen davon aus, Frisch, verschrumpelt, verschimmelt. Aufgeschnitten sind da Kerne drin, so sieht das Fruchtfleisch aus, das ist ein Apfel. Und je mehr Apfel Bilder du der AI zeigst um so zuverlässiger wird sie einen wirklich realistisch aussehenden Apfel erzeugen wenn du sie danach frägst.
Und weil die AI auch noch verschiedene Stile kennt ist sie sogar in der Lage zum Beispiel einen Apfel in einem Malstil zu erstellen in dem sie den Apfel noch nie im Leben gesehen hat und das es so auch noch gar nicht gibt. Weil sie eben verstanden hat was ein Apfel ist. Das Konzept.
Wenn du sie natürlich nur mit einem Bild füttern würdest würde sie einen Apfel immer recht ähnlich malen. Wie ein Kind das nur einen Baum kennt. Und nur eine Art diesen Baum zu malen. Und da könnte man tatsächlich Gefahr laufen zu meinen die AI kopiert nur. Tut sie aber nicht. Selbst eine Mona Lisa, von der es eben nur ein Bild gibt, wird dir die AI immer etwas anders machen*. Das ist niemals pixelgenau. Weil sie "nur" das Konzept der Mona Lisa kennt, weil eben keine Bildteile kopiert und wieder neu zusammengesetzt werden. Deswegen ist es so wichtig die AI mit möglichst vielen Bildern zu trainieren.
*(entsprechend der Seed. Und den zugehörigen Settings. Da steckt ein technisches Limit dahinter. Zufällige Zahlen sind am PC immer noch nicht wirklich zufällig, die folgen einem ganz bestimmten Muster. Und gleiche Seeds werden auf der gleichen Hardware deswegen auch das gleiche Ergebnis liefern. Was auf der anderen Seite auch durchaus gewollt sein kann. Gerade für Animationen will man nicht immer wieder ein anderes Ausgangsbild)
Der Teil mit dem trainieren geschieht mit einem Trainingssatz. Laion 5 zum Beispiel.
https://laion.ai/blog/laion-5b/ . Das sind die Datensätze zum lernen der AI. Und die sind wirklich gross. Laion 5 hat in der grossen Version 240 Terabyte. Zitat: "
The data can comfortably be downloaded with img2dataset (240TB in 384, 80TB in 224)".
240 Terabyte passt noch nicht mal auf einen High End Rechner. Geschweigedenn in eine Grafikkarte mit 8 Gb Ram. Und das lädst du auch nicht mal eben runter. Was die Theorie des "nachladens" und "neu zusammensetzens" widerlegt. Wie soll das gehn? Mein Rechner hat gerade mal 7 Terabyte Festplattenplatz. Und damit liege ich schon weit über dem Durchschnitt. Und selbst mit der schnellsten Internet Leitung würdest du Tage bis Wochen brauchen
Diese Bilder die da verlinkt sind werden dann fürs trainieren nach und nach gecached, die AI schaut sich die Bilder der Reihe nach an. Aha, die Bildbeschreibung sagt Apfel, das Ding ist rund, hat nen Stengel dran, etc. , so sieht also ein Apfel aus. Und dann werden die Bilder auch schon wieder gelöscht. Kein einziger Pixel der Bilder macht es in die AI. Das wird nur angeschaut und analysiert. Das wäre schon grössenmässig gar nicht möglich wie ich oben schon dargelegt habe. Ein AI Weight ist zwischen 2 und 12 Gigabyte gross. Da geht nicht das ganze Internet rein. Noch nicht mal ein kleiner Bruchteil. AI funktioniert intern, mit dem AI Weight das du lädst. Das ist der Brain des ganzen.
Das lässt sich sogar ausprobieren, nur für den Fall dass du immer noch zweifelst. Stable Diffusion kann man lokal und offline verwenden. Mit zum Beispiel Stable Diffusion WebUI von Automatic1111
https://github.com/AUTOMATIC1111/stable-diffusion-webui . Und hier kannst du dir Weights herunterladen:
https://civitai.com/
Und das liefert auch ohne Internetzugang immer noch das gleiche Ergebnis. Die AI greift wirklich nicht wild aufs Internet zu um irgendwelche Bilder nachzuladen, zu zerschnippeln und sie neu zusammenzusetzen.
Und das war es. Wenn die AI trainiert ist ist der Bilderteil abgeschlossen. Und im Weight das dabei erstellt wird steckt wie gesagt auch kein einziger Pixel. Sondern nur das Konzept. Ein Stil hat die und die Merkmale, ein Apfel sieht so und so aus.
Starten tut dann jede Bilderstellung erst mal mit einem simplen Graustufenbild. Noise. Das wird jedesmal neu zufällig erzeugt. Dafür ist die Seed da. Und aus diesem verrauschten Bild erschafft dann die AI das gewünschte Bild. Das geht meist über mehrere Schritte. Denen kannst du bei Midjourney sogar zuschauen. Erst ist da sowas verwaschenes, und das wird dann immer klarer. Je mehr die AI das Bild verfeinert.
Und hier kommt der Geniestreich der Animation ins Spiel. Deswegen dauert der Teil der Entwicklung auch so viel länger als die reine Bilder AI. Das ist noch mal eine Nummer verzwickter. Die AI muss hier nicht nur erkennen welche Pixel noch zu zum Beispiel einem Hund oder Menschen gehören. Und das sauber voneinander trennen. Sondern auch noch realistische Animationen dafür erstellen. Und den Hintergrund. Beleuchtung, Kamerafahrt, etc. entsprechend der Animation anpassen. Und das muss konsistent über die Frames sein. Das darf nicht in Frame 2 ein komplett anderes Bild verwenden. Und einfach interpolieren geht auch nicht. Es soll ja keine Morphanimation werden.
Und spätestens hier sollte klar sein dass AI gar nicht einfach irgendwelche existierenden Bilder oder Filme herunterladen und neu zusammensetzen kann. Wie denn auch? Den Film zu deinem rosa Einhorn Wunschmammut gibts ja schlicht gar nicht. Von wo sollte das also gestohlen sein oder heruntergeladen werden?
Ich hoffe ich konnte hier einigermassen brauchbar erklären wie es funktioniert. Und wieso es gar nicht sein kann dass AI angeblich Bilder oder Bildteile kopiert. Oder gar nachläd.
Sora ist da ein ganz besonderer Meilenstein. Bisherige AI Animationslösungen in dieser Richtung schafften gerade mal zwei bis drei Sekunden bevor sie komplett amok laufen. Sora kann angeblich eine Minute am Stück. Das ist so fantastisch gut, einfach Geil ...
LG Tiles