OpenAI Sora

  • Ersteller Lacunaflow
  • Erstellt am
Und erstellt das nun eigentlich nur Folgen aus pixelflächen, oder steckt da dahinter jeweils 3-d modellierung, rigging, Beleuchtung, setzen der Kameraperspektive und kadrierung?

Ersteres. Wie genau das mit der Kamera gelöst ist kann ich dir allerdings nicht sagen. Da ist was von Ebenen zu lesen.
 
Zuletzt bearbeitet von einem Moderator:
Und AnimateDIFF läuft hier unter den gleichen Voraussetzungen wie schon nur die Bilder AI. Eine 8 Gb Grafikkarte und ein 5800er AMD. Einzelne Clips sind halt nicht allzu lang. Die Sekunde von der ich gesprochen habe. Danach bricht die Animation zusammen.

Ja, ist bei mir ähnlich. 12gb Grafikkarte und 7800X3D.

Bei AnimateDIFF ist bei mir auch das Problem, dass das Video oft mittendrin vergisst, was am Anfang passiert und sich dann verändert.

Könnte ich eh nicht nutzen wegen der Lizenz.

Die Lizenz müsste bei AnimateDIFF egal sein, weil das eigentliche Bildmaterial kommt doch von dem ausgewählten Model und dann müsste dessen Lizenz zählen.

Wobei das bei Stable Diffusion ehh alles egal ist, weil jedes Model sein eigenes Lizenzsüppchen kocht und man mit img2img ehh alles zusammenrechnen kann und dann niemand mehr weiß, welches Model eigentlich zuständig war.
 
Im Moment ist imho das Beste was man lokal und kostenfrei nutzen kann AnimateDIFF für Stable Diffusion. Deforum nutze ich gar nicht mehr. UNd Stable Video Diffusion hat hier ein Animationsproblem, das hält immer mittendrin die Kamerabewegung an.
Mir gefällt SVD ein bisschen besser, das Problem mit der Kamerabewegung ist bei mir nicht vorhanden, allerdings sind die Ergebnisse etwas simpel, man bekommt fast nur Kameraschwenks, zooms, etc. hin, gute und konsistente Animationen sind eher schwierig, da ist Animatediff etwas besser. Habe vor ein paar Wochen mal ein SVD video in einem anderen thread gepostet:

Beitrag im Thema 'Stable Video Diffusion erschienen'
https://recording.de/threads/stable-video-diffusion-erschienen.258807/post-3288907
 
Die Lizenz müsste bei AnimateDIFF egal sein, weil das eigentliche Bildmaterial kommt doch von dem ausgewählten Model und dann müsste dessen Lizenz zählen.
Du meinst SVD, richtig?

Nein, leider nicht.

Stable Video Diffusion is now available for use under a non-commercial community license (the “License”) which can be found here.


Und das bedeutet dass du die Ergebnisse tatsächlich erst mal nur für nicht kommerzielle Projekte verwenden darfst. Ausser du kaufst dir eine Lizenz zu die das erlaubt. Das kannst du glaube ich mit einer Membership machen. Ich bin da aber kein Member, deswegen kann ich dir da leider auch keine weiteren Infos liefern.

AnimateDIFF ist jedenfalls komplett Open Source unter einer nicht permissiven Apache Lizenz. Die Ergebnisse sind dann wirklich deine :)
 
Mh. Nein. So funktioniert das nicht. AI braucht keine riesige Datenbanken auf die sie für den Prozess zugreift. Es wird nicht ein einziger Pixel eines schon existierenden Bildes oder Videos für die Bild oder Videoerstellung verwendet. Da wird auch nichts irgendwie umgeformt oder neu zusammengefügt. So funktioniert AI nicht.

Ich hole mal ein wenig aus.

Der Prozess ist folgender. Wie einem kleinen Kind zeigst du der AI zum Beispiel immer wieder Bilder von zum Beispiel Äpfeln. Bis die AI verstanden hat, aha, ist rund, hat nen Stengel dran, unten so ein puscheliges Dingelchen, hat die und die Oberflächenstruktur, eine Seite kann auch mal rot sein. So und so sehen Variationen davon aus, Frisch, verschrumpelt, verschimmelt. Aufgeschnitten sind da Kerne drin, so sieht das Fruchtfleisch aus, das ist ein Apfel. Und je mehr Apfel Bilder du der AI zeigst um so zuverlässiger wird sie einen wirklich realistisch aussehenden Apfel erzeugen wenn du sie danach frägst.

Und weil die AI auch noch verschiedene Stile kennt ist sie sogar in der Lage zum Beispiel einen Apfel in einem Malstil zu erstellen in dem sie den Apfel noch nie im Leben gesehen hat und das es so auch noch gar nicht gibt. Weil sie eben verstanden hat was ein Apfel ist. Das Konzept.

Wenn du sie natürlich nur mit einem Bild füttern würdest würde sie einen Apfel immer recht ähnlich malen. Wie ein Kind das nur einen Baum kennt. Und nur eine Art diesen Baum zu malen. Und da könnte man tatsächlich Gefahr laufen zu meinen die AI kopiert nur. Tut sie aber nicht. Selbst eine Mona Lisa, von der es eben nur ein Bild gibt, wird dir die AI immer etwas anders machen*. Das ist niemals pixelgenau. Weil sie "nur" das Konzept der Mona Lisa kennt, weil eben keine Bildteile kopiert und wieder neu zusammengesetzt werden. Deswegen ist es so wichtig die AI mit möglichst vielen Bildern zu trainieren.

*(entsprechend der Seed. Und den zugehörigen Settings. Da steckt ein technisches Limit dahinter. Zufällige Zahlen sind am PC immer noch nicht wirklich zufällig, die folgen einem ganz bestimmten Muster. Und gleiche Seeds werden auf der gleichen Hardware deswegen auch das gleiche Ergebnis liefern. Was auf der anderen Seite auch durchaus gewollt sein kann. Gerade für Animationen will man nicht immer wieder ein anderes Ausgangsbild)

Der Teil mit dem trainieren geschieht mit einem Trainingssatz. Laion 5 zum Beispiel. https://laion.ai/blog/laion-5b/ . Das sind die Datensätze zum lernen der AI. Und die sind wirklich gross. Laion 5 hat in der grossen Version 240 Terabyte. Zitat: "The data can comfortably be downloaded with img2dataset (240TB in 384, 80TB in 224)".

240 Terabyte passt noch nicht mal auf einen High End Rechner. Geschweigedenn in eine Grafikkarte mit 8 Gb Ram. Und das lädst du auch nicht mal eben runter. Was die Theorie des "nachladens" und "neu zusammensetzens" widerlegt. Wie soll das gehn? Mein Rechner hat gerade mal 7 Terabyte Festplattenplatz. Und damit liege ich schon weit über dem Durchschnitt. Und selbst mit der schnellsten Internet Leitung würdest du Tage bis Wochen brauchen ;)

Diese Bilder die da verlinkt sind werden dann fürs trainieren nach und nach gecached, die AI schaut sich die Bilder der Reihe nach an. Aha, die Bildbeschreibung sagt Apfel, das Ding ist rund, hat nen Stengel dran, etc. , so sieht also ein Apfel aus. Und dann werden die Bilder auch schon wieder gelöscht. Kein einziger Pixel der Bilder macht es in die AI. Das wird nur angeschaut und analysiert. Das wäre schon grössenmässig gar nicht möglich wie ich oben schon dargelegt habe. Ein AI Weight ist zwischen 2 und 12 Gigabyte gross. Da geht nicht das ganze Internet rein. Noch nicht mal ein kleiner Bruchteil. AI funktioniert intern, mit dem AI Weight das du lädst. Das ist der Brain des ganzen.

Das lässt sich sogar ausprobieren, nur für den Fall dass du immer noch zweifelst. Stable Diffusion kann man lokal und offline verwenden. Mit zum Beispiel Stable Diffusion WebUI von Automatic1111 https://github.com/AUTOMATIC1111/stable-diffusion-webui . Und hier kannst du dir Weights herunterladen: https://civitai.com/

Und das liefert auch ohne Internetzugang immer noch das gleiche Ergebnis. Die AI greift wirklich nicht wild aufs Internet zu um irgendwelche Bilder nachzuladen, zu zerschnippeln und sie neu zusammenzusetzen.

Und das war es. Wenn die AI trainiert ist ist der Bilderteil abgeschlossen. Und im Weight das dabei erstellt wird steckt wie gesagt auch kein einziger Pixel. Sondern nur das Konzept. Ein Stil hat die und die Merkmale, ein Apfel sieht so und so aus.

Starten tut dann jede Bilderstellung erst mal mit einem simplen Graustufenbild. Noise. Das wird jedesmal neu zufällig erzeugt. Dafür ist die Seed da. Und aus diesem verrauschten Bild erschafft dann die AI das gewünschte Bild. Das geht meist über mehrere Schritte. Denen kannst du bei Midjourney sogar zuschauen. Erst ist da sowas verwaschenes, und das wird dann immer klarer. Je mehr die AI das Bild verfeinert.

Und hier kommt der Geniestreich der Animation ins Spiel. Deswegen dauert der Teil der Entwicklung auch so viel länger als die reine Bilder AI. Das ist noch mal eine Nummer verzwickter. Die AI muss hier nicht nur erkennen welche Pixel noch zu zum Beispiel einem Hund oder Menschen gehören. Und das sauber voneinander trennen. Sondern auch noch realistische Animationen dafür erstellen. Und den Hintergrund. Beleuchtung, Kamerafahrt, etc. entsprechend der Animation anpassen. Und das muss konsistent über die Frames sein. Das darf nicht in Frame 2 ein komplett anderes Bild verwenden. Und einfach interpolieren geht auch nicht. Es soll ja keine Morphanimation werden.

Und spätestens hier sollte klar sein dass AI gar nicht einfach irgendwelche existierenden Bilder oder Filme herunterladen und neu zusammensetzen kann. Wie denn auch? Den Film zu deinem rosa Einhorn Wunschmammut gibts ja schlicht gar nicht. Von wo sollte das also gestohlen sein oder heruntergeladen werden? :)

Ich hoffe ich konnte hier einigermassen brauchbar erklären wie es funktioniert. Und wieso es gar nicht sein kann dass AI angeblich Bilder oder Bildteile kopiert. Oder gar nachläd.

Sora ist da ein ganz besonderer Meilenstein. Bisherige AI Animationslösungen in dieser Richtung schafften gerade mal zwei bis drei Sekunden bevor sie komplett amok laufen. Sora kann angeblich eine Minute am Stück. Das ist so fantastisch gut, einfach Geil ...

LG Tiles
Schöne Erklärung, aber leider für die Katz. Das glauben Dir die ewigen Zweifler sowieso nicht, für die ist das alles nur copy/paste. Ist ähnlich, wenn man einem Normalsterblichen versucht zu erklären, was eine 7. oder 8. oder 11. Dimension ist, die meisten kennen nur 3, einige kennen auch die 4.
 
Wir erleben da auf jeden Fall ein revolutionäre Entwicklung.
Was "echte" Schauspieler, überhaupt Menschen, obsolet macht mehr und mehr.
Mal schauen wohin das führt. Man möchte kein Model, Hollywood Mime oder sowas sein. Könnte bald alles sinnfrei werden. Inclusive dahinter stehender Infrastruktur.
 
Ich denke da in erster Linie noch gar nicht an Schauspieler,
eher an Animatoren aus Florida die mit Maya oder C4D arbeiten.

Die gesamte Technik ist damit ja obsolet.
 
Ich denke da in erster Linie noch gar nicht an Schauspieler,
eher an Animatoren aus Florida die mit Maya oder C4D arbeiten.

Die gesamte Technik ist damit ja obsolet.
Ja, mein Reden. Kommt, ist nicht aufzuhalten. Nur kann man die evtl noch umschulen, assimilieren. Wie Webdesigner ua. Keine Ahnung
 
Aber noch gibt es wohl keinen Zugriff auf Sora, oder irre ich mich? Also selber kann ich da noch nichts erstellen lasse, stimmt es?
 
AI funktioniert einfach nicht mit fake, wie ich oben schon erläutert hatte. Das wäre schon rein technisch nicht machbar.
Klar funktioniert ai nicht mit fake, aber es ist auch nicht ausgeschlossen, dass die demo videos mit herkömmlichen methoden produziert wurden, um einen stand der technik zu demonstrieren, der möglicherweise noch nicht erreicht wurde - das ist aber -wie gesagt- im bereich der spekulation…
 
Ja, mein Reden. Kommt, ist nicht aufzuhalten. Nur kann man die evtl noch umschulen, assimilieren. Wie Webdesigner ua. Keine Ahnung

Ich will ja nicht Schwarz malen aber da rollt etwas auf uns zu. Das wird längst nicht nur bei fancy Kinostreifen bleiben sondern auch bei so unspektakulären Aufgaben wie z.B. in der Verwaltung eingesetzt werde bzw. wird schon dort eingesetzt. Meine Cousine arbeitet bei einer Versicherung die setzen schon seit einiger Zeit KI in der Kunden Korrespondenz ein, ob nur testweise weiß ich nicht. Leider versteht die KI wohl kein Sarkasmus. Da hat eine Kundin wohl erst nach 6 Wochen auf ein Anliegen eine Antwort erhalten. Und hat u.a. so ähnlich leicht angesäuert zurück geschrieben "Schön, freut mich das Sie nach 6 Wochen mal Zeit gefunden haben zu antworten....". Die Ki schrieb in etwa zurück "Wie freuen uns das Sie sich über unsere Antwort gefreut haben....". Das kam natürlich nicht so gut an.

Nun ja aber ernsthaft, selbst Elon Musk oder der mittlerweile verstorbene Physiker Steppen Hawkins haben eindringlich vor künstlicher Intelligenz gewarnt. Da wird sich einiges in unserer Welt verändern, nicht nur zum Guten.
 
Zuletzt bearbeitet:
Passt zum Thema: Hatte wirklich knifflige Fragen zum Thema private Rentenversicherung und Auswirkungen auf Beitrag zur gesetzlichen Krankenversicherung. Absolut undurchsichtige Versicherungs Nerd Geschichte.
Was soll ich sagen? Chat mit Copilot und der hat mir alles haarklein und verständlich erklärt. Hat meine Zahlen genommen und für mich gerechnet. Mir alles mehrfach erklärt ohne zu mailen.

Das, was mich völlig baff zurück lässt:
Habe seine Aussagen bissel angezweifelt und ihm einen link geschickt.
Dauerte 2 sec und ich bekam Antwort zurück: "Dieser Artikel behandelt... das ist ein anderes Thema, das trifft für Sie nicht zu..." Eine Seitenlänge, detaillierte Erklärung folgte. Wtf???
Unfassbar!
 
Aber noch gibt es wohl keinen Zugriff auf Sora, oder irre ich mich? Also selber kann ich da noch nichts erstellen lasse, stimmt es?
Richtig. Das geht im Moment erst mal an einen ausgewählten Kreis von Künstlern. Wir normalsterbliche bekommen das wohl frühestens in einem halben Jahr zu Gesicht.

Ich denke da in erster Linie noch gar nicht an Schauspieler,
eher an Animatoren aus Florida die mit Maya oder C4D arbeiten.

Die gesamte Technik ist damit ja obsolet.

Lustigerweise betrifft es die 3D'ler gerade erst mal noch am wenigsten. Bei 3D ist die AI einfach noch nicht angekommen. Noch muss man Game Assets weitestegehendst von Hand bauen. Und das wird auch noch eine ganze Weile so bleiben. Lustigerweise jammern ausgerechnet diese Leute am Lautesten drüber. Bei Schauspielern sieht die Sache tatsächlich schon ernster aus. Deswegen gabs in Hollywood ja diesen Streik. Da gibts tatsächlich schon Pipelines mit denen man Schauspieler komplett ersetzen kann. Und einige Zeitschriften werden inzwischen auch schon komplett von AI geschrieben und gelayoutet. Und ich habe mir flüstern lassen dass selbst so Sachen wie Weinettiketten und Marketingbeschreibungen schon von AI übernommen werden.

Ja, AI ist definitiv eine der grössten Änderungen der letzten Jahrzehnte. Vergleichbar mit der Einführung des Personal PC's.

Ich bin da trotzdem weniger pessimistisch was das Thema Obsolenz angeht. AI ist eine Ergänzung, ein weiteres Stilmittel oder Werkzeug. Sie schafft nicht einfach alles andere ab. Sondern verbessert auch viel. So wie die Fotografie nicht die ganze Malerei abgeschafft hat. Und das Auto nicht alle anderen Verkehrsmittel. Auch wenn das Auto derzeit das dominierende Verkehrsmittel ist.

Und AI existiert ja auch nicht im luftleeren Raum. Sie schafft auch Arbeitsplätze. Programmierer zum Beispiel. Die Leute die die AI trainieren. Und es braucht immer noch Menschen die das dann beurteilen und steuern. Da kannst du keine Kassiererin oder einen Kaminfeger an den Prompt stellen. Sondern da nimmst du am Besten Grafiker dafür. Die gleichen Leute die vorher schon ein Interesse daran hatten, und auch die Skills dafür haben das wirklich beurteilen zu können. Beleuchtung, Szenengestaltung, Kleidung, Materialien und und und.

Was man auch nicht vergessen darf, den Beruf des 2D / 3D Grafikers am PC gibts auch noch nicht so lang. Die erste Max Version war von 1991 wenn ich mich recht erinnere. Und ich erinnere mich dumpf dran dass schon mit Einführung von Photoshop drüber gejammert wurde dass die Branche nun zusammenbricht weil ja nun jeder Bilder bearbeiten kann.

Die Branche war schon immer im ständigen Wandel, immer auf der Suche nach der besseren Pipeline. Motion Capturing hat die Keyframe Animation nicht verdrängt, sondern ergänzt. Früher hat man die Charactere alle noch geboxmodelt und jedes Vertice einzeln verschoben. Heute sculptet man das und macht Retopo, und so weiter.

Und AI gibts ja nun auch schon seit einer ganzen Weile, und die Grafikerwelt ist immer noch nicht zusammengebrochen. Sie ändert sich, das tat sie schon immer.

dass die demo videos mit herkömmlichen methoden produziert wurden

Hm. Ich habe es wohl immer noch nicht gut genug erklärt. Ich probiere es einfach noch mal mit meinem Einhornmammutbeispiel. Klar kannst du das erst mal in 3D modeln, riggen, texturieren, animieren, und das dann entsprechend rausrendern. Braucht dann halt drei Dutzend Spezialisten und AAA Grafiker, ein halbes bis ein Jahr und eine Firma wie Pixar. Und das für jedes einzelne Video.

Die AI liefert das aber innerhalb von ein paar Sekunden bis Minuten. Das ist wie gesagt technisch schlicht nicht machbar. Es ist keine Zeit den Prompt mal eben nach Indien zu schicken dass dort ein Grafiker ein Bild malt oder einen ganzen Film dreht. Und so viele 3D Grafiker die dafür nötig wären um auf dem Level modeln, texturieren, riggen und animieren gibts ja auch nicht. Und das wäre alles unglaublich teuer.

Natürlich haben die da die Sahnestückchen drinstehen im Reel. Mit den Fails gewinnt man keine Kunden. Aber das ist wirklich alles mit AI erstellt. Das geht technisch gar nicht anders. Und das siehst du den Videos auch an. Da sind auch mit dieser Technik und selbst in diesen Sahnestücken die üblichen Artefakte zu finden. Hände die morphen, die mal kurz 6 Finger haben, Hintergründe die mal kurz amok laufen. Drei Beine, Moonwalks, und so weiter. Die würdest du mit herkömmlichen Methoden gar nicht so hinbekommen.
 
Zuletzt bearbeitet von einem Moderator:
Die KI lernt gerade erst laufen! Jeder kann aber sehen, wie rasant die Entwicklung geht. Ich rechne übrigens ganz sicher damit, dass in ein paar Jahren KI Musik jeglichen Genres wirklich und qualitativ hochwertig komponiert, arrangiert, mixt und mastert. Die Videos dazu macht auch eine KI.
Kein Mimimi, es ist einfach absehbar. Noch steckt da alles in den Kinderschuhen, aber die ersten wirklich brauchbaren Mix Tools sind ja da aka "intelligenter" EQ etc
 
Ja. Suno ist da schon auf einem brauchbaren Level angekommen. Mit Gesang und Lyrics. Filmmusiker werden sich warm anziehen müssen. Das wird aber die Bühnenmusiker nicht überflüssig machen. Die Leute wollen weiterhin Konzerte sehen, mit echten Musikern :)
 
Das wird aber die Bühnenmusiker nicht überflüssig machen. Die Leute wollen weiterhin Konzerte sehen, mit echten Musikern :)
Da bin ich sicher. Live is live! Denke die ganze Live Betrieb Branche hat nix zu befürchten und der gesamte Erlebniszirkus wird sicher im Gegenteil profitieren. Adventuretrips in virtuell, was weiß ich alles. Man wird virtuell in Vergangenheit und Zukunft reisen und die verrücktesten Dinge anstellen.
 

Oft gelesene Themen

Zurück
Oben