@Schludi Wenn ich dich richtig verstehe, soll der KI-Generator also den Text aus der Audiodatei verstehen, interpretieren, daraus prompt zu passenden Videosequenzen generieren, dass ganze synchron schneiden und dir als Video von fast 2 minuten ausgeben?
Du hast den Thread heute um 0:26 Uhr geschrieben. Da warst du wohl nicht mehr ganz nüchtern.
Also es gibt einige KIs, die dir beim Storyboard helfen und insgesamt eine Plattform bieten, die einem das Leben und vor allem die Verwaltung einfacher macht. Beispielsweise
https://ltx.studio
Die previews sehen eindrucksvoll aus, ich kann aber aus Erfahrung sagen, dass hier Cherry-picking aller erster Güte betrieben wird.
Ich habe die Visualls von diesem Song damit gemacht:
View: https://youtu.be/mjMg5rZHxdc
Zur Plattform: Die Möglichkeiten sind auf Leute ausgerichtet, die selber nicht viel machen möchten. Du gibst eine Idee ein, daraus wird dir ein Script erstellt, mit Charakteren, einer Beschreibung und der Möglichkeit, diese später im Projekt immer wieder aufzurufen und daraus einen kohärenten Charakter zu bilden. Bist du zufrieden damit, macht die KI dir daraus ein Storyboard mit mehreren Szenen und je nach Umfang mehreren Shots. Ein Shot ist ein Bild aus dem du ein Video generieren kannst. Zu jedem Shot wird dir direkt ein Prompt vorgeschlagen aus dem direkt ein Bild als Vorschau generiert wird. Du hast also Text-to-Image und Image-to-Video direkt auf einen Blick. Das gefällt mir sehr gut. Es gibt Buttons mit Kameraverhalten, sodass man sich auch nicht allzuviele Gedanken dazu machen muss. Negativ ist: Wenn du den Prompt veränderst, geht er direkt hin und erstellt dir neue Bilder. Schreibst du also den Prompt umfangreich um, rasseln dir die Credits nur so aus der Tasche. Ich bin immer hingegangen und habe erst den Prompt in einem Texteditor erstellt und dann in die Plattform kopiert. Ansonsten wären mir die Credits ausgegangen, bevor ich mit der Videoerstellung angefangen hätte. Positiv wiederum: In diesen Prompt kannst du mit dem @-Zeichen deine Charactere ansprechen. Das wäre wirklich eine sehr geniale Sache, wenn sie richtig funktionieren würde. Bei Menschen ist das noch OK, es funktioniert schlecht bei Tieren und gar nicht bei technischem Gerät, Fahrzeugen oder ähnlichem. Die Qualität der Videos ist leider auch eher durchwachsen. Glitches sind sehr häufig, Menschen schielen, die Pupille morpht. Es gibt mehrere dieser Tools, die einem das blaue vom Himmel versprechen aber qualitativ ist das kein Vergleich zu den Platzhirschen wie Kling oder Runway. Mein Test ist ja mittlerweile 5 Monate alt, da wird sich bestimmt auch was getan haben. Man hat damals auch ein paar free credts bekommen, die für einen ersten Eindruck reichen. Man muss nur vorsichtig sein, dass man sich nicht die Credits vom System einfach so für nichts verbrauchen lässt.
Theoretisch kannst Du den Text als prompt verwenden
Praktisch sollte man davon aber abstand nehmen. Ein Prompt braucht dann doch mehr info als lediglich so eine gesprochene Zeile.
Bei Runway ist mittlerweile die Gen4 aktuell.
