KI-Video-Generator: Audio zu Video

Also Vergleiche habt ihr...ich denke auch in diesem Thread wurde es schon geschrieben: Kunst und technische Revolution lassen sich schlecht vergleichen. Ich schreib es trotzdem noch einmal.
 
Das wäre übrigens ganz fantastisch.
Die 2 Kinder + Baby + Mann + Frau teilen sich dann sich einfach ein Pferd. :D Ab nach Berlin, kein Problem, in 3 Tagen seid ihr dort.
Und die Fahrräder und das Reisegepäck kommen auch aufs Pferd. :p Man muss dann an der Tanke fragen, wo es Fressen und Wasser für das Pferd gibt. :p :D;) Ach mist, schlafen muss das Pferd ja auch noch irgendwo.
 
Die 2 Kinder + Baby + Mann + Frau teilen sich dann sich einfach ein Pferd. :D Ab nach Berlin, kein Problem, in 3 Tagen seid ihr dort.
Und die Fahrräder und das Reisegepäck kommen auch aufs Pferd. :p Man muss dann an der Tanke fragen, wo es Fressen und Wasser für das Pferd gibt. :p :D;) Ach mist, schlafen muss das Pferd ja auch noch irgendwo.

Wenn man zu kurz denkt, denkt man zu kurz.

Und damit will ich es hier auch belassen. Ich melde mich aus diesem Thread ab, bitte tagged oder zitiert mich nicht mehr.
 
KI kleinzureden ist, wie in den 70er oder 80er Jahren den Computer kleinzureden. Die Computer damals waren nicht zu viel in Lage, und schau dir an, was Computer heute leisten. Das Auto wurde auch von vielen angezweifelt. Stell dir vor, jeder hätte heute ein Pferd in der Garage stehen. LOL.

Na ja es geht ihm nicht darum die KI kleinzureden , sondern die Benutzer.
Er denkt wahrscheinlich ein Musikvideo zu erstellen ist ein kurzer Klick, ein kleiner Prompt - so wie bei der Musik mit Suno. Und "Zack" das Video steht. So funktioniert es aber mit Mitnichten noch nicht derzeit....
Ein Musikvideo von 3:30 heißt: Drehbuch für eine Story schreiben, gleiche Charaktere erstmal erstellen, Bilder generieren und anpassen, Technik einrichten, mindestens 33 Einzelne Videoclips (und das mehrfach - anpassen, hochskalieren, pro Clip bestimmt jeweils min..20 Minuten Zeitaufwand, schneiden , zusammenstellen, einzelne clips ggfs. Lippensyncron erstellen (einzelnes sauberes stem Audiomaterial erstellen und passend schneiden), schneiden, hochskalieren.....etc etc.

Wer behauptet das jeder Dödel das mal eben so hinscheisst hat einfach keine Ahnung von der Materie - hat außer Polemik wenig beizusteuern zum Thema. Und ist letztlich respektlos!
 
Das wird mit wan 2.5 möglich sein, das ist gerade erschienen. sound/sprache die lippensynchron ist. ich hoffe, wenn da ein z.B. klavierspieler ist, dass der dann die richtigen Noten synchron spielt.
Leider nein, das ist nicht das Thema des Updates. Es gibt derzeit noch kein Tool , dass das Video an bereits bestehenden Audiomaterial auch die Instrumente passend spielend zeigt. Halbwegs geht es nur mit Stimmen und Lippensyncronität..Und auch das mal mehr - mal weniger gut.

Wan 2.5 fügt eigene Sounds hinzu - was bei einem fertigen Song wenig Sinn macht (mal FX abgesehen)
 
Und dein letzter Satz zeigt auch nicht gerade Verständnis zum Erstellen von Musik Videos mit KI...Du unterschätzt oder überschätzt den Aufwand, die Zeit und das KnowHow.
Nein. Ich weiß sehr genau wovon ich rede. Ich mache seit Jahren Musikvideos, mit und ohne KI. Der Aufwand und das Knowhow Licht, Kamera etc. einzustellen, die Postproduction, Colorgrading etc. ist nunmal sehr viel höher als alles, was man mit KI derzeit macht.
Musik mit Cubase wird deiner Meinung wahrscheinlich auch auch jeder Honk und Grundschüler mit einem Klick erstellen.... ungefähr nämlich ähnlich !
Du willst jetzt nicht ernsthaft eine komplette Musikproduktion mit einem KI Video vergleichen???
 
Nein. Ich weiß sehr genau wovon ich rede. Ich mache seit Jahren Musikvideos, mit und ohne KI. Der Aufwand und das Knowhow Licht, Kamera etc. einzustellen, die Postproduction, Colorgrading etc. ist nunmal sehr viel höher als alles, was man mit KI derzeit macht.

Du willst jetzt nicht ernsthaft eine komplette Musikproduktion mit einem KI Video vergleichen???
Weil...? Wieso nicht ?

Die Gründe und den Aufwand habe ich bereits genannt......

Klar gibt es auch teure KI Anbieter auf irgendwelchen Seiten die dir mal eben 3:30 Videos wild zusammenklicken - ohne Zusammenhang versteht sich.
Hat mit einer KInVideoproduktion wenig zu tun.
 
Wan 2.5 fügt eigene Sounds hinzu - was bei einem fertigen Song wenig Sinn macht (mal FX abgesehen)
Das meinte ich. Wenn der Sound (z.B. ein Violinenspieler) passend zusammen mit dem Video erzeugt wird, dann müsste der Violinenspieler doch die zur Musik passenden Bewegungen machen, oder nicht?
 
Das meinte ich. Wenn der Sound (z.B. ein Violinenspieler) passend zusammen mit dem Video erzeugt wird, dann müsste der Violinenspieler doch die zur Musik passenden Bewegungen machen, oder nicht?
In der Form gibt es das bisher nicht wirklich leider.. Eventuell mit WAN Animate,.bei dem.du selbst die Bewegung mit einem eigenen Guide-Video steuerst. Hab ich aber noch nicht ausprobiert..
 
Hallo, mein Name ist Tom und ich nutze AI. (Manchmal)

Bloss warum?

Weil ich als Kreativling manchmal Ideen habe, und die AI mir die Möglichkeit gibt, diese (teilweise) umzusetzen. Ich hatte diese Videoidee vor ein paar Wochen gehabt, und ohne die aktuellen technischen Möglichkeiten hätte ich dies nicht umsetzen können.

Wenn die AI schon unaufhaltbar ist, kann ich ja wenigstens ein paar Projekte damit umsetzen, bis es dann wirklich soweit ist. Das sieht dann so aus:


View: https://www.youtube.com/watch?v=4ou_MGcTlyg

Sowas wäre bis vor drei Jahren undenkbar gewesen. Mal schauen, was so in drei Jahren so geht...
 
In der Form gibt es das bisher nicht wirklich leider..
Ich dachte, bei Veo 3 von Google sei das so, da die KI ja dann weiß, welche Noten gespielt werden, wenn die KI auch den Sound erzeugt. Dann könnte der Klavierspieler die korrekten Tasten spielen.
 
Hallo, mein Name ist Tom und ich nutze AI. (Manchmal)

Bloss warum?

Weil ich als Kreativling manchmal Ideen habe, und die AI mir die Möglichkeit gibt, diese (teilweise) umzusetzen. Ich hatte diese Videoidee vor ein paar Wochen gehabt, und ohne die aktuellen technischen Möglichkeiten hätte ich dies nicht umsetzen können.

Wenn die AI schon unaufhaltbar ist, kann ich ja wenigstens ein paar Projekte damit umsetzen, bis es dann wirklich soweit ist. Das sieht dann so aus:


View: https://www.youtube.com/watch?v=4ou_MGcTlyg

Sowas wäre bis vor drei Jahren undenkbar gewesen. Mal schauen, was so in drei Jahren so geht...

Ja das ist doch ganz gut geworden. Wie hast du die gemalten Charaktere gemacht? Ich vermute da war noch Chromakey irgendwie dabei wegen dem grünen Rand.
 
Ja das ist doch ganz gut geworden. Wie hast du die gemalten Charaktere gemacht? Ich vermute da war noch Chromakey irgendwie dabei wegen dem grünen Rand.

die Comicfiguren habe ich entweder von Bing oder ChatGPT machen lassen (beide können das eigentlich ziemlich gut). Einfach ein Bandfoto genommen, und gesagt bitte vorm Greenscreen freistellen.

Animiert per Image-to-Video und/oder synchronisieren lassen - als Tool dafür kann ich D Zine AI empfehlen.
 
Also Sora 2 kann das wohl, siehe 15:19 Minuten bei folgendem Video: (die Spielbewegungen des Geigenspielers passen zur Musik)


View: https://www.youtube.com/watch?v=dM6ayr5iZ40

Auch hier muss ich Dich enttäuschen. Die Sounds (Geige) wurde von Sora generiert. Darum geht es ja auch. Aber für ein Musikvideo willst du ja deine bereits vorhandene Audio als Controller für die Bildbewegung nutzen (Audioinput)

Wie gesagt: Für Kippenbewegung ja - für Instrumente nicht.

Und das geht selbst bei den überteuerten Sora 2 nicht .....
 
Aber für ein Musikvideo willst du ja deine bereits vorhandene Audio als Controller für die Bildbewegung nutzen (Audioinput)
Nein, will ich nicht. Das ist ein Missverständnis.

Eventuell wird es bald möglich sein, dass Audio 2 Video perfekt funktioniert.
 
Die Gründe und den Aufwand habe ich bereits genannt......
Also erstmal möchte ich klarstellen, dass ich nicht pauschal gegen KI bin und diese nicht verteufele. Ich verwende KI in meinen Videos ja auch sehr häufig. Der Grund warum man als KI Nutzer mit so einem heftigen Gegenwind rechnen muss, ist die Tatsache, dass die Einstiegshürden eben sehr gering sind und viele dies nutzen, um ein Video nach dem anderen raus zuhauen. Das hat dem ganzen in sehr kurzer Zeit enorm geschadet.
Die Gründe, die du dargelegt hast, kann ich Teilweise nachvollziehen, wie zum Beispiel ein Drehbuch schreiben, teilweise auch nicht. Drehbücher sind bei den meisten KI-Videos eben nicht vorhanden. Das sind eher Themen, bei denen munter drauflos generiert wurde. Das ist offensichtlich, denn viele Szenen ähneln sich sehr stark und es gibt keine Story, der man folgen kann. An der Stelle möchte ich aber dein Video zu "The reason why" von dieser Kritik ausnehmen, denn du hast dir da mehr Gedanken gemacht als die meisten es tun. Vielleicht schiebe ich hier einen Absatz mit einigen konstruktiven Denkanstößen speziell zu deinem Video ein. Es gibt ja die Tendenz, dass sich die beiden Lager, KI-Befürworter und KI-Gegner in einem sehr toxischen Verhältnis gegenüberstehen. Man sollte daran arbeiten, wir sind ja alle nur Hobbyisten, da sind solche Streiteren Albern und unnötig. Wenn man Videos vorstellt, könnte man mehr auf die Detaills eingehen. Wenn klar wird, wo sich die Spreu vom Weizen trennt, kann man möglicherweise besser miteinander auskommen.

In deinem Video sind mir einige Szenen aufgefallen, die ich nicht so richtig passende finde. Beispielsweise die Orchesterszenen. Man hört eine Solovioline oder lass es ein kleines Ensemble sein aber kein Orchester mit allen Sektionen von tiefen Streichern bis hin zu Blas- und Percussioninstrumenten. Hier fände ich es kohärenter eben nur diese Instrumente abzubilden. Im vorderen Teil des Videos spielt eine Cellistin und befindet in einem anderen Raum als das Orchester, das später gezeigt wird. Kohärenter wäre es, wenn der selbe Raum benutzt werden würde. Der Raum mit der Cellistin wirkt mit den ausgeschalteten PAR-Strahler technischer und weniger Stimmungsvoll als das romantische Orchestersetting mit den Kerzen. Kerzen beieten sich meiner Meinung für Soloinstrumente geradezu an. Hier fände ich Einheitlichkeit besser. Der nächste Punkt wäre die fehlende synchronizität zwischen den KI-Musikern und dem Track ... geht aktuell nicht besser. Dann kann man dann nur drüber streiten, ob man sowas zum jetzigen Zeitpunkt nicht weg lässt und was anderes macht. Ein Musikvideo ist ja dazu da, die Musik visuell zu transportieren und Authentizität finde ich persönlich schon sehr wichtig und die geht so verloren. Mir ist auch aufgefallen, dass die Kamera öfters vor und zurück und wieder vor und zurück fährt. Beispielsweise bei der Wanderung auf dem Pfad. Das sieht etwas verwirrt aus und scheint ein KI-Irrtum zu sein.

Und die anderen Punke ... also du hast natürlich recht, skalieren, etc. ist definitiv Arbeit und Zeitaufwändig. Ich würde auch mal Unterscheiden zwischen allgemeinen hingerotzten KI Videos, die YouTube zur Zeit fluten und diejenigen, bei denen man merkt, dass sich jemand Gedanken gemacht hat. Das typische Video verwendet keinen konsistenten Character und hat keine Story, sondern ist einfach Random.


pro Clip bestimmt jeweils min..20 Minuten Zeitaufwand
Das ist enorm. Bei mindestens 33 Clips wären das 11 Stunden!!! Da würde mich interessieren, wie du auf diesen Wert kommst.
 

Oft gelesene Themen

Zurück
Oben