OpenAI Sora

  • Ersteller Lacunaflow
  • Erstellt am
Ja da werden wir aber noch ein paar Monate keinen zugriff drauf haben. Du musst im Spezialclub -- have vergessen wie der hieß red velvet oder so -- sein und da kommst du nur auf einladung rein. Man kann sich nicht bewerben.
 
...im Zweifel fehlt mir eh die nötige Hardware dafür. :drink:


Ich frage mich nur wie das die Filmmaker Szene verändern wird.
 
Ist das wirklich ALLES Computer generiert?
 
Das ging ja schneller als gedacht, letztes Jahr habe ich im Freundeskreis bereits gesagt, in 5 Jahren sehen wir den ersten Film, der komplett AI produziert ist... Bilder...Stimmen...Musik.
 
Sensationell. Ich stehe auf sowas. Einmal in der Hinsicht, dass Leute wie wir hier (Musiker die für ihre Songs Videos erstellen möchten) richtig krasse Möglichkeiten haben werden.

Dann auch - wie bei dem Beispiel "California at the gold rush era" die Möglichkeit der Visualisierung von bestimmten Epochen. So etwa deine Heimatstadt um 1500 n C., oder auch deine Heimatstadt (nennen wie sie mal Frankfurt) von 794 bis heute. Muss ja nicht hundertprozentig "korrekt" sein, aber alleine die Visualisierung, ich finde das grossartig.
 
Gut bezahlte Medienjobs sterben mehr und mehr aus.
Oder die Kunden zahlen kaum noch was.
Oder machen es gleich selber.
Sprecherstimmen sind schon KI... Soundtrack Composing Tools auch mit KI... Photoshop schon lange mit KI... und jetzt halt KI Filme...
KI wird ja sowieso immer besser werden. Aufregen und in Panik verfallen brauchen wir da nicht. KI läßt sich eh nicht mehr aufhalten. Kann man sich zu Nutze machen. Es wird mehr unterstützen, als dass es nervt.
 
Zuletzt bearbeitet von einem Moderator:
Ist das wirklich ALLES Computer generiert?
Die Kern Hintergründe müssen ja irgendwo herkommen.
Ich kann mir nicht vorstellen, dass sich die KI das alles komplett neu ausdenkt. Wie auch.
Die KI wird auf Vorhandenes Filmmaterial oder Szenen oder Teilausshnitte zugreifen und es dann passend umformen und neu zusammenfügen. Geht ja mit Adobe PS auch schon länger. Da werden ja auch Datenbanken mit Bildern verwendet. Jetzt halt mit Film Snippets oder sowas, denk ich.
 
Die Kern Hintergründe müssen ja irgendwo herkommen.
Ich kann mir nicht vorstellen, dass sich die KI das alles komplett neu ausdenkt. Wie auch.
Die KI wird auf Vorhandenes Filmmaterial oder Szenen oder Teilausshnitte zugreifen und es dann passend umformen und neu zusammenfügen. Geht ja mit Adobe PS auch schon länger. Da werden ja auch Datenbanken mit Bildern verwendet. Jetzt halt mit Film Snippets oder sowas, denk ich.


Ja, so wie ich das verstehe brauchen KI enorme Datenbanken um zu lernen und natürlich auch Zugriff darauf zu haben. Aber irgendwie muß das ja zusammengebaut werden so das es von Licht, Schatten, Farbabstimmung, Unschärfen, Maskierungen, etc... zusammenpasst. Das alleine wäre schon irgendwie gruselig. Deshalb würde ich schon gerne mehr über den Prozess verstehen. Vielleicht ist es eher so das man für eine bestehende Filmsequenz schreibt z.B.: "3 Mamuts schreiten in Slowmo auf Kamera zu und wirbeln den Schnee auf in bestehendem Footagefilm" man wird sehen...
 
Mh. Nein. So funktioniert das nicht. AI braucht keine riesige Datenbanken auf die sie für den Prozess zugreift. Es wird nicht ein einziger Pixel eines schon existierenden Bildes oder Videos für die Bild oder Videoerstellung verwendet. Da wird auch nichts irgendwie umgeformt oder neu zusammengefügt. So funktioniert AI nicht.

Ich hole mal ein wenig aus.

Der Prozess ist folgender. Wie einem kleinen Kind zeigst du der AI zum Beispiel immer wieder Bilder von zum Beispiel Äpfeln. Bis die AI verstanden hat, aha, ist rund, hat nen Stengel dran, unten so ein puscheliges Dingelchen, hat die und die Oberflächenstruktur, eine Seite kann auch mal rot sein. So und so sehen Variationen davon aus, Frisch, verschrumpelt, verschimmelt. Aufgeschnitten sind da Kerne drin, so sieht das Fruchtfleisch aus, das ist ein Apfel. Und je mehr Apfel Bilder du der AI zeigst um so zuverlässiger wird sie einen wirklich realistisch aussehenden Apfel erzeugen wenn du sie danach frägst.

Und weil die AI auch noch verschiedene Stile kennt ist sie sogar in der Lage zum Beispiel einen Apfel in einem Malstil zu erstellen in dem sie den Apfel noch nie im Leben gesehen hat und das es so auch noch gar nicht gibt. Weil sie eben verstanden hat was ein Apfel ist. Das Konzept.

Wenn du sie natürlich nur mit einem Bild füttern würdest würde sie einen Apfel immer recht ähnlich malen. Wie ein Kind das nur einen Baum kennt. Und nur eine Art diesen Baum zu malen. Und da könnte man tatsächlich Gefahr laufen zu meinen die AI kopiert nur. Tut sie aber nicht. Selbst eine Mona Lisa, von der es eben nur ein Bild gibt, wird dir die AI immer etwas anders machen*. Das ist niemals pixelgenau. Weil sie "nur" das Konzept der Mona Lisa kennt, weil eben keine Bildteile kopiert und wieder neu zusammengesetzt werden. Deswegen ist es so wichtig die AI mit möglichst vielen Bildern zu trainieren.

*(entsprechend der Seed. Und den zugehörigen Settings. Da steckt ein technisches Limit dahinter. Zufällige Zahlen sind am PC immer noch nicht wirklich zufällig, die folgen einem ganz bestimmten Muster. Und gleiche Seeds werden auf der gleichen Hardware deswegen auch das gleiche Ergebnis liefern. Was auf der anderen Seite auch durchaus gewollt sein kann. Gerade für Animationen will man nicht immer wieder ein anderes Ausgangsbild)

Der Teil mit dem trainieren geschieht mit einem Trainingssatz. Laion 5 zum Beispiel. https://laion.ai/blog/laion-5b/ . Das sind die Datensätze zum lernen der AI. Und die sind wirklich gross. Laion 5 hat in der grossen Version 240 Terabyte. Zitat: "The data can comfortably be downloaded with img2dataset (240TB in 384, 80TB in 224)".

240 Terabyte passt noch nicht mal auf einen High End Rechner. Geschweigedenn in eine Grafikkarte mit 8 Gb Ram. Und das lädst du auch nicht mal eben runter. Was die Theorie des "nachladens" und "neu zusammensetzens" widerlegt. Wie soll das gehn? Mein Rechner hat gerade mal 7 Terabyte Festplattenplatz. Und damit liege ich schon weit über dem Durchschnitt. Und selbst mit der schnellsten Internet Leitung würdest du Tage bis Wochen brauchen ;)

Diese Bilder die da verlinkt sind werden dann fürs trainieren nach und nach gecached, die AI schaut sich die Bilder der Reihe nach an. Aha, die Bildbeschreibung sagt Apfel, das Ding ist rund, hat nen Stengel dran, etc. , so sieht also ein Apfel aus. Und dann werden die Bilder auch schon wieder gelöscht. Kein einziger Pixel der Bilder macht es in die AI. Das wird nur angeschaut und analysiert. Das wäre schon grössenmässig gar nicht möglich wie ich oben schon dargelegt habe. Ein AI Weight ist zwischen 2 und 12 Gigabyte gross. Da geht nicht das ganze Internet rein. Noch nicht mal ein kleiner Bruchteil. AI funktioniert intern, mit dem AI Weight das du lädst. Das ist der Brain des ganzen.

Das lässt sich sogar ausprobieren, nur für den Fall dass du immer noch zweifelst. Stable Diffusion kann man lokal und offline verwenden. Mit zum Beispiel Stable Diffusion WebUI von Automatic1111 https://github.com/AUTOMATIC1111/stable-diffusion-webui . Und hier kannst du dir Weights herunterladen: https://civitai.com/

Und das liefert auch ohne Internetzugang immer noch das gleiche Ergebnis. Die AI greift wirklich nicht wild aufs Internet zu um irgendwelche Bilder nachzuladen, zu zerschnippeln und sie neu zusammenzusetzen.

Und das war es. Wenn die AI trainiert ist ist der Bilderteil abgeschlossen. Und im Weight das dabei erstellt wird steckt wie gesagt auch kein einziger Pixel. Sondern nur das Konzept. Ein Stil hat die und die Merkmale, ein Apfel sieht so und so aus.

Starten tut dann jede Bilderstellung erst mal mit einem simplen Graustufenbild. Noise. Das wird jedesmal neu zufällig erzeugt. Dafür ist die Seed da. Und aus diesem verrauschten Bild erschafft dann die AI das gewünschte Bild. Das geht meist über mehrere Schritte. Denen kannst du bei Midjourney sogar zuschauen. Erst ist da sowas verwaschenes, und das wird dann immer klarer. Je mehr die AI das Bild verfeinert.

Und hier kommt der Geniestreich der Animation ins Spiel. Deswegen dauert der Teil der Entwicklung auch so viel länger als die reine Bilder AI. Das ist noch mal eine Nummer verzwickter. Die AI muss hier nicht nur erkennen welche Pixel noch zu zum Beispiel einem Hund oder Menschen gehören. Und das sauber voneinander trennen. Sondern auch noch realistische Animationen dafür erstellen. Und den Hintergrund. Beleuchtung, Kamerafahrt, etc. entsprechend der Animation anpassen. Und das muss konsistent über die Frames sein. Das darf nicht in Frame 2 ein komplett anderes Bild verwenden. Und einfach interpolieren geht auch nicht. Es soll ja keine Morphanimation werden.

Und spätestens hier sollte klar sein dass AI gar nicht einfach irgendwelche existierenden Bilder oder Filme herunterladen und neu zusammensetzen kann. Wie denn auch? Den Film zu deinem rosa Einhorn Wunschmammut gibts ja schlicht gar nicht. Von wo sollte das also gestohlen sein oder heruntergeladen werden? :)

Ich hoffe ich konnte hier einigermassen brauchbar erklären wie es funktioniert. Und wieso es gar nicht sein kann dass AI angeblich Bilder oder Bildteile kopiert. Oder gar nachläd.

Sora ist da ein ganz besonderer Meilenstein. Bisherige AI Animationslösungen in dieser Richtung schafften gerade mal zwei bis drei Sekunden bevor sie komplett amok laufen. Sora kann angeblich eine Minute am Stück. Das ist so fantastisch gut, einfach Geil ...

LG Tiles
 
Zuletzt bearbeitet von einem Moderator:
...im Zweifel fehlt mir eh die nötige Hardware dafür. :drink:


Ich frage mich nur wie das die Filmmaker Szene verändern wird.
Ich habe hier AnimateDIFF mit Stable Diffusion auf einer 8Gb Grafikkarte am Laufen. Dauert halt ein wenig bis man damit ein Musikvideo fertig hat. Aber es geht. Fünf Minuten ist mit Prompt Traveling an einem Tag zu schaffen. Und ich vermute und hoffe dass diese neue AI zumindest mit einer der jetzigen Generationen laufen wird. Also 12 bis 16 Gb.

Vielleicht wird das Ding von OpenAI aber auch nie lokal laufen. Sondern ein Online Service bleiben. Wie RunwayML zum Beispiel. Und dann bleibt noch abzuwarten wie das Lizenzmodell aussieht. Da war ich von Stable Video Diffusion von der Konkurenz schwer enttäuscht. Open Source, aber nur Non Commercial. Kannste dir nicht ausdenken ...
 
die bilder sind ganz cool, aber ich tippe mal darauf, dass die features in der gezeigten form und qualität niemals einer breiten masse zur verfügung gestellt werden.
und darauf, dass die benötigten rechenleistungen für otto normalverbraucher auch in zukunft nicht realisierbar sein werden.
 
was man auch immer berücksichtigen sollte:

der name openai steht ja leider nicht für open. und schon gar nicht für open source.
es ist mehr ein marketing-gag um das publikum zu blenden...

und da es ja nicht open ist, weiß man am ende auch nicht genau, was jetzt wirklich von der ai generiert wurde,
oder was gefaket wurde, um für potentielle investoren den eindruck zu erwecken, man hätte eine überlegene technologie...
 
Vielleicht wird das Ding von OpenAI aber auch nie lokal laufen.

Ich denke mal, da wird eher der Zugang zu der KI gegen Geld angeboten. Alles andere würde ja auch wirtschaftlich keinen Sinn ergeben.

Interessanter wird dann, ob es eine lokal laufende Alternative geben wird, die ähnlich gut aussieht. Bei Bildern ist Stable Diffusion ja gegenüber Dall-E und Midjourney in etwa vergleichbar, wäre schön, wenn das bei Videos ähnlich ginge.

Vermutlich wird das aber dann echt länger dauern als bei Bildern, weil der Aufwand ja nochmal sehr viel größer ist.
 
@Tiles
Vielen Dank für dein verständliche Erklärung das es auch Otto Normalo versteht wie sowas funktioniert:bigup:.
 
Ich hoffe ich konnte hier einigermassen brauchbar erklären wie es funktioniert. Und wieso es gar nicht sein kann dass AI angeblich Bilder oder Bildteile kopiert. Oder gar nachläd.
Und erstellt das nun eigentlich nur Folgen aus pixelflächen, oder steckt da dahinter jeweils 3-d modellierung, rigging, Beleuchtung, setzen der Kameraperspektive und kadrierung?
 
Ich denke mal, da wird eher der Zugang zu der KI gegen Geld angeboten. Alles andere würde ja auch wirtschaftlich keinen Sinn ergeben.

Interessanter wird dann, ob es eine lokal laufende Alternative geben wird, die ähnlich gut aussieht. Bei Bildern ist Stable Diffusion ja gegenüber Dall-E und Midjourney in etwa vergleichbar, wäre schön, wenn das bei Videos ähnlich ginge.

Vermutlich wird das aber dann echt länger dauern als bei Bildern, weil der Aufwand ja nochmal sehr viel größer ist.
Also online gibt es zum Beispiel RunwayML https://runwayml.com/
Und Pika https://pika.art/

Die sind aber recht teuer.

Im Moment ist imho das Beste was man lokal und kostenfrei nutzen kann AnimateDIFF für Stable Diffusion. Deforum nutze ich gar nicht mehr. UNd Stable Video Diffusion hat hier ein Animationsproblem, das hält immer mittendrin die Kamerabewegung an. Könnte ich eh nicht nutzen wegen der Lizenz.

Und AnimateDIFF läuft hier unter den gleichen Voraussetzungen wie schon nur die Bilder AI. Eine 8 Gb Grafikkarte und ein 5800er AMD. Einzelne Clips sind halt nicht allzu lang. Die Sekunde von der ich gesprochen habe. Danach bricht die Animation zusammen. Das kann man mit DaVinci noch ein wenig strecken. Oder man verwendet Prompt Traveling. Da wird dann die Animation ineinandergemorpht. Man bekommt aber doch auch relativ gute Animationen damit hin.

DallE verwendet halt einen anderen Ansatz zur Bilderzeugung und die Videoerstellung. Eine andere Diffusionsmethode. Ich bin mir also nicht so sicher ob wir mit dem Diffusionmodell von Stable Diffusion und Konsorten überhaupt je eine Animationsqualität wie bei Suna sehen werden.
 
  • Danke
Reaktionen: Hyp

Oft gelesene Themen

Zurück
Oben