KI-Video-Generator: Audio zu Video

Schludi

DAW-Offizier
Registriert
13.11.05
Beiträge
7.238
Reaktionen
3.627
Punkte
18.698
Kennt ihr KI-Videogeneratoren, die aus einer Audio-Datei (z.B. einem Hörspiel) ein Video generieren?

Ich habe z.B. so eine Audio-Datei mit einem Mini-Hörspiel (Saunaaufguss):


Und möchte daraus ein Video generieren - wie geht das?
Oder ich habe einen Song ...
 
Ich lese hier gerne mal mit. Ich hab da noch nicht viel Ahnung von, bin aber auch interessiert, was alles gehen könnte.
 
Kennt ihr KI-Videogeneratoren, die aus einer Audio-Datei (z.B. einem Hörspiel) ein Video generieren?

Ich habe z.B. so eine Audio-Datei mit einem Mini-Hörspiel (Saunaaufguss):
Anhang anzeigen 159386

Und möchte daraus ein Video generieren - wie geht das?
Oder ich habe einen Song ...
Das Wichtigste dabei ist ja, die Figuren müssen über die Clips hinweg konsistent bleiben. Meistens kann man immer nur einige Sekunden Video generieren.

Theoretisch kannst Du den Text als prompt verwenden und der KI die Anweisung geben das als Video zu machen. Mit weiteren detaillierten Anweisungen. Also faktisch ein Drehbuch bzw Script.

Du musst alles in zB 10sec dauernde Sequenzen aufsplitten. Sehr aufwendig.

Ich weiß nicht wie weit Runway Gen2 ist. Guck es Dir einfach mal an. Evtl sind dort längere Videos machbar, glaub ich allerdings nicht.
Es wird auf alle Fälle nicht kostenlos funktionieren.
 
@Schludi Wenn ich dich richtig verstehe, soll der KI-Generator also den Text aus der Audiodatei verstehen, interpretieren, daraus prompt zu passenden Videosequenzen generieren, dass ganze synchron schneiden und dir als Video von fast 2 minuten ausgeben?
Du hast den Thread heute um 0:26 Uhr geschrieben. Da warst du wohl nicht mehr ganz nüchtern. 🤣

Also es gibt einige KIs, die dir beim Storyboard helfen und insgesamt eine Plattform bieten, die einem das Leben und vor allem die Verwaltung einfacher macht. Beispielsweise https://ltx.studio
Die previews sehen eindrucksvoll aus, ich kann aber aus Erfahrung sagen, dass hier Cherry-picking aller erster Güte betrieben wird.
Ich habe die Visualls von diesem Song damit gemacht:

View: https://youtu.be/mjMg5rZHxdc

Zur Plattform: Die Möglichkeiten sind auf Leute ausgerichtet, die selber nicht viel machen möchten. Du gibst eine Idee ein, daraus wird dir ein Script erstellt, mit Charakteren, einer Beschreibung und der Möglichkeit, diese später im Projekt immer wieder aufzurufen und daraus einen kohärenten Charakter zu bilden. Bist du zufrieden damit, macht die KI dir daraus ein Storyboard mit mehreren Szenen und je nach Umfang mehreren Shots. Ein Shot ist ein Bild aus dem du ein Video generieren kannst. Zu jedem Shot wird dir direkt ein Prompt vorgeschlagen aus dem direkt ein Bild als Vorschau generiert wird. Du hast also Text-to-Image und Image-to-Video direkt auf einen Blick. Das gefällt mir sehr gut. Es gibt Buttons mit Kameraverhalten, sodass man sich auch nicht allzuviele Gedanken dazu machen muss. Negativ ist: Wenn du den Prompt veränderst, geht er direkt hin und erstellt dir neue Bilder. Schreibst du also den Prompt umfangreich um, rasseln dir die Credits nur so aus der Tasche. Ich bin immer hingegangen und habe erst den Prompt in einem Texteditor erstellt und dann in die Plattform kopiert. Ansonsten wären mir die Credits ausgegangen, bevor ich mit der Videoerstellung angefangen hätte. Positiv wiederum: In diesen Prompt kannst du mit dem @-Zeichen deine Charactere ansprechen. Das wäre wirklich eine sehr geniale Sache, wenn sie richtig funktionieren würde. Bei Menschen ist das noch OK, es funktioniert schlecht bei Tieren und gar nicht bei technischem Gerät, Fahrzeugen oder ähnlichem. Die Qualität der Videos ist leider auch eher durchwachsen. Glitches sind sehr häufig, Menschen schielen, die Pupille morpht. Es gibt mehrere dieser Tools, die einem das blaue vom Himmel versprechen aber qualitativ ist das kein Vergleich zu den Platzhirschen wie Kling oder Runway. Mein Test ist ja mittlerweile 5 Monate alt, da wird sich bestimmt auch was getan haben. Man hat damals auch ein paar free credts bekommen, die für einen ersten Eindruck reichen. Man muss nur vorsichtig sein, dass man sich nicht die Credits vom System einfach so für nichts verbrauchen lässt.

Theoretisch kannst Du den Text als prompt verwenden
Praktisch sollte man davon aber abstand nehmen. Ein Prompt braucht dann doch mehr info als lediglich so eine gesprochene Zeile.

Bei Runway ist mittlerweile die Gen4 aktuell. ;)
 
Zuletzt bearbeitet:
Praktisch sollte man davon aber abstand nehmen. Ein Prompt braucht dann doch mehr info als lediglich so eine gesprochene Zeile.
So schrieb ich doch 😀 lesen-denken-Posten.

Ja, welche Version Runway aktuell ist, keine Ahnung.
Dann nimm halt die 4. 😂
Kling und Runway sind am dichtesten dran.
Ob Einem der Spaß dann das Geld wert ist muss jeder selbst wissen.
 
Ich hatte neulich mal eine KI getestet, die zu einem Stummvideo Sound generiert. Also man hat z.B. einen Wasserfall ohne Ton und die macht dann das Rauschen des Wasserfalls. Inhalte erkennen klappt ja mittlerweile ganz gut - Copilot fasst auch YouTube-Videos inhaltlich zusammen oder macht Übersetzungen in alle Sprachen, daher könnte ich mir schon vorstellen, dass es so was geben könnte.
 
Dann erkläre mal wie Du ohne Text ein Hörspiel zum Video machen willst. 😂
Och Souli ... du hast geschieben:
Theoretisch kannst Du den Text als prompt verwenden und der KI die Anweisung geben das als Video zu machen. Mit weiteren detaillierten Anweisungen.
Was ich meinte ist: Vergiß den Text und schreibe direkt einen detaillierten Prompt. Das gequatsche des Hörspiels ist dafür meiner Meinung nach ungeeignet.

Ich hatte neulich mal eine KI getestet, die zu einem Stummvideo Sound generiert. Also man hat z.B. einen Wasserfall ohne Ton und die macht dann das Rauschen des Wasserfalls. Inhalte erkennen klappt ja mittlerweile ganz gut - Copilot fasst auch YouTube-Videos inhaltlich zusammen oder macht Übersetzungen in alle Sprachen, daher könnte ich mir schon vorstellen, dass es so was geben könnte.
LTX Studio macht dir auch Sound dazu aber ich glaube, dass was du dir vorstellst gibt es noch nicht. Noch muss man Grips einschalten und Zeit aufwenden.
 
Umpf...

Ich möchte nach und nach meine Audiotracks auf YT hochladen.
Aber eben mit Bildinhalt versehen und nicht nur mit Standbild.

Gibt es jetzt eine Essenz, wie ich das als Audiodepp am einfachsten hinbekomme?
Es darf was kosten, aber nicht irgendwie ein Irrwitz-Abo oder Industriepreise.
 
Och Souli ... du hast geschieben:

Was ich meinte ist: Vergiß den Text und schreibe direkt einen detaillierten Prompt. Das gequatsche des Hörspiels ist dafür meiner Meinung nach ungeeignet.


LTX Studio macht dir auch Sound dazu aber ich glaube, dass was du dir vorstellst gibt es noch nicht. Noch muss man Grips einschalten und Zeit aufwenden.
Das Problem ist halt bei den zusammengeschnipselten KI-Videos, dass die Leute meistens gar nicht wissen dass da doch Arbeit im Hintergrund ist. Ich hatte mal einen Song gemacht und als Video KI-Clips von Kling AI passend zusammengeschnipselt, da kamen dann solche Kommentare wie "Ach das KI taugt doch nix - no KI in Music" - dabei waren die KI-Clips nur auf den (nicht KI-)Track geschnipselt, aber auch absichtlich ein bisschen so belassen das man es sieht ;-). Das find ich dann wieder demotivierend in Bezug auf KI-Videos. Ist ja nicht so, dass man auf nen Knopf drückt und den Kram dann ungehört hochlädt.
 
Das Problem ist halt bei den zusammengeschnipselten KI-Videos, dass die Leute meistens gar nicht wissen dass da doch Arbeit im Hintergrund ist. Ich hatte mal einen Song gemacht und als Video KI-Clips von Kling AI passend zusammengeschnipselt, da kamen dann solche Kommentare wie "Ach das KI taugt doch nix - no KI in Music" - dabei waren die KI-Clips nur auf den (nicht KI-)Track geschnipselt, aber auch absichtlich ein bisschen so belassen das man es sieht ;-). Das find ich dann wieder demotivierend in Bezug auf KI-Videos. Ist ja nicht so, dass man auf nen Knopf drückt und den Kram dann ungehört hochlädt.
Ja, hab ich auch. Viele sagen dann, der Song ist gut aber an der Stelle wo KI ins Spiel kam hab ich ausgemacht. Das liegt halt am Superschlechten Ruf der KI anhaftet, zum einen als Jobkiller und zum anderen sind 98% aller Video die KI gemacht hat eben genauso: Lieblos zusammengeschusterter Mist, den man zusammengeklickt hat ohne Nachzudenken. Oft gibt es ein Thema, meistens Frauen mit großer Oberweit in knapper Kleidung, ohne Kohärenz. Man merkt, dass hier einfach immer wieder der gleiche Prompt verwendet wurde und die generierten Schnipsel dann zusammen geschnitten wurden. Das nervt die Menschen und ich verstehe das sehr gut!!!
 
Umpf...

Ich möchte nach und nach meine Audiotracks auf YT hochladen.
Aber eben mit Bildinhalt versehen und nicht nur mit Standbild.

Gibt es jetzt eine Essenz, wie ich das als Audiodepp am einfachsten hinbekomme?
Es darf was kosten, aber nicht irgendwie ein Irrwitz-Abo oder Industriepreise.

Das kann mit an Sicherheit grenzender Wahrscheinlichkeit DaVinci Resolve. Und zwar auch die kostenlose Version. Dazu gibt's auch haufenweise Tutorials.

Edit: Achso, du möchtest, dass der Bildinhalt generiert wird, oder? Dann weiß ich's nicht.
 
@Sascha Franck
Ich habe erstmal nur meinen Audiocontent.
Aber einfach nur mein Audio mit einem Standbild als Video auf den Kanal hochzuladen ist mir Minus.
 
Aber einfach nur mein Audio mit einem Standbild als Video auf den Kanal hochzuladen ist mir Minus.

Naja, du kannst im Prinzip jedes bewegte Bildmaterial nehmen. Da kann man sich gewiss auch für umme was kreieren lassen. Oder eigene Bilder zum laufen bewegen lassen. Gibt's ja mittlerweile alles.
 

Neue Antworten


Oft gelesene Themen

Zurück
Oben