Guide the Fizzles Home KI-unterstütztes Musikvideo zu meinem Indiegame

[HPWsoft]

Hallo zusammen,

ich möchte euch mein Musikvideo „Guide the Fizzles Home“ vorstellen. Es gehört zu meinem Indiegame-Projekt Fizzles, ist aber kein Gameplay-Video und zeigt keine echten Level oder finalen Spielinhalte. Es ist als künstlerisches Musikvideo gedacht, das die Stimmung der Fizzles-Welt transportieren soll.

YouTube:

View: https://youtu.be/7MhnpG_5Pfo

Da hier im KI-Musik-Bereich ausdrücklich um Kontext und eigenen Beitrag gebeten wird, kurz zum Workflow:

Die Musik wurde mit Suno erstellt. Der Song war einer von mehreren Entwürfen, über die ich in verschiedenen GameDev-Communities abstimmen ließ. Diese Version bekam die meisten Stimmen und wurde deshalb die Grundlage für das Video.

Für das Video habe ich anschließend zu den einzelnen Songabschnitten Bildideen entwickelt und daraus mit ChatGPT Bildvorlagen erzeugt. Diese Bilder dienten dann als Startbilder für kurze KI-Videoclips. Die Videoclips wurden hauptsächlich mit Kaiber erstellt, vor allem mit Wan 2.2 Turbo. Einige Clips mit mehreren Fizzles musste ich später mit Seedance 2.0 Fast neu erzeugen, weil Wan bei kleinen Figuren teilweise typische KI-Fehler erzeugte: verformte Körper, falsche Bewegungen oder instabile Gesichter.

Der finale Schnitt war dann komplett Handarbeit in Kdenlive 21.12.3 unter Ubuntu 22.04.5 LTS. Dort habe ich die Clips ausgewählt, sortiert, auf die Musik gelegt, Übergänge gesetzt, Timings angepasst und das finale Video exportiert.

Meine Erfahrung aus dem Projekt:
KI kann für so ein Musikvideo erstaunlich viel Atmosphäre erzeugen, aber sie ersetzt nicht die eigentliche Regiearbeit. Gerade bei wiederkehrenden Figuren musste ich sehr viel testen, Prompts anpassen, fehlerhafte Clips verwerfen und einzelne Szenen neu erzeugen. Am Ende war es weniger „ein Klick und fertig“, sondern eher ein längerer Prozess aus Auswahl, Korrektur, Schnitt und gestalterischen Entscheidungen.

Mich würde interessieren, wie das Ergebnis auf euch wirkt:
Passt die Musik zur Bildstimmung?
Funktioniert das Video als eigenständiges Musikvideo?
Wirkt der KI-Einsatz stimmig oder fallen bestimmte Stellen negativ auf?
Und wie seht ihr generell diesen Workflow aus KI-Musik, KI-Bild, KI-Video und manuellem Schnitt?

Ich bin gespannt auf eure Einschätzungen.

 

[Schludi]

Hallo!

erstmal vielen Dank für den Beitrag und das Du auch über Deinen Workflow schreibst. Hier wurden schon einige KI-Beiträge wegen "Clickbait"-Verdacht zerfetzt und die Diskussion dann gesperrt, weil sie in eine falsche Richtung ging. Aber auf dieser Grundlage kann man diskutieren.

Meine Erfahrung aus dem Projekt:
KI kann für so ein Musikvideo erstaunlich viel Atmosphäre erzeugen, aber sie ersetzt nicht die eigentliche Regiearbeit.

Das kommt immer auf die Perspektive an, hier sind hauptsächlich Musiker. D.h. für diese ist dann Regiearbeit zum Video nur Beiwerk zu einem echten Song. Ein echter Song braucht ja i.d.R. (echte oder virtuelle) Instrumente, einen Sänger und jemand der das recordet, mixt und mastert. Für jemanden der Songs mit SUNO generiert ist das Beschriebene nur Beiwerk zur eigentlichen Regiearbeit.

Der Gitarrist erstellt einen Song, er macht sich darüber Gedanken wie er das Instrument mikrofoniert / ab nimmt. Beiwerk ist dann das Schlagzeug was er mit ezDrummer erstellt. Gesang wird z.B. über Omni-Vocals in Cubase hinzugefügt.

Der Schlagzeuger spielt etwas ein und benutzt ein VST-Instrument um Gitarrensounds zu bekommen. Er hat sich vorher Gedanken darüber gemacht, welche Mikrofone für welche Trommel verwendet werden, wie sie auf die Trommeln ausgerichtet werden und wie sie im Equalizer eingestellt werden.

Der Sänger arrangiert den kompletten Song in der DAW. Er weiß ob er ein Kondensatormikrofon oder ein dynamisches Mikrofon nimmt, haut Effekte drauf Deesser, Kompressor usw ....

Der Mixing-Engineer mixt den Song, der komplett rein kam. Der Mastering-Engineer haut seine Mastering-Chain drauf.

Der Kameramann nimmt Videos auf, er hat eine Kamera für den cinematischen Look und weiß ganz genau welche Perspektiven wie wirken.

Der 3D-Artist/-Animator animiert 3D-Animationen und baut daraus ein Video. Musik nimmt er von SUNO.

Der reine KI-Artist generiert alles und lässt auch von KI schneiden ... usw ... Ich habe solche Story-Board-KI's noch nicht ausprobiert und weiß daher gar nicht genau was da alles alleine geht.

Ein größeres Problem von recordeten Musikern ist, dass sie oft kein gutes Videomaterial haben und sich evtl. auch selbst nicht zeigen wollen - da kann KI schon eine echte Bereicherung sein. Die Frage ist dann wie man beweist was davon selber gemacht ist und was von SUNO/Der KI kam.

Gerade bei wiederkehrenden Figuren musste ich sehr viel testen, Prompts anpassen, fehlerhafte Clips verwerfen und einzelne Szenen neu erzeugen. Am Ende war es weniger „ein Klick und fertig“, sondern eher ein längerer Prozess aus Auswahl, Korrektur, Schnitt und gestalterischen Entscheidungen.

Das glaube ich, dass da viel Arbeit drin steckt, hast Du da bei einer Online-Plattform Credits gekauft oder wie funktionieren die Tools:

• Kdenlive 21.12.3
• Kaiber
• Seedance 2.0
• Wan 2.2 Turbo

Wieviele musstest Du von den generierten Videos verwerfen?

Mich würde interessieren, wie das Ergebnis auf euch wirkt:
Passt die Musik zur Bildstimmung?

Die Stimmung des Songs wirkt verträumt, was zur Landschaft passt. Die "Fizzles" erinnern mich eher an so kleine Kirbys von Kirbies Dreamland (hab ich jetzt mal wieder gespielt), da ist die Musik mehr fröhlich treibend. Kann man aber so machen.

Funktioniert das Video als eigenständiges Musikvideo?

Sollte gehen, aber man muss es natürlich bei der Zielgruppe testen wie es angenommen wird.

Wirkt der KI-Einsatz stimmig oder fallen bestimmte Stellen negativ auf?

Also wie bei den meisten KI-Videos entdeckt man dann irgendwann was, z.B. das runterlaufende Wasser aus den Luftinseln wirkt manchmal etwas seltsam. Aber da muss man schon drauf achten. Oder bei 58 Sekunden verzerrt sich der Boden auf dem die Fizzles laufen. Bei ca. 1.50 läuft der grüne Fizzle ins Gras rein und morpht dann selbst ein bisschen zu Gras. Am Anfang hast du 4 Fizzles und bei 1.28 sind es auf einmal 8. Beim Augenzwinkern findet gelegentlich KI-typisches Morphing statt.

Und wie seht ihr generell diesen Workflow aus KI-Musik, KI-Bild, KI-Video und manuellem Schnitt?

Das Problem ist meistens, das man vor allem als KI-Laie nicht sofort sieht was alles "manuell" gemacht ist oder ob das komplette Video anhand eines Promptes entstanden ist. Da ich weiß, dass bei den meisten Plattformen 5-10 Sekunden Videos generiert werden, hätte ich vermutet, dass Du die Szenen manuell zusammengeführt hast - mit Schnitt passend zur Musik. Hier wurden auch schon KI-Editing-Tools vorgestellt, wo der komplette Schnitt von KI gemacht wurde.

Ich bin gespannt auf eure Einschätzungen.

Bei dem Video wirkt das Gameplay ein bisschen wie Lemmings:

View: https://www.youtube.com/watch?v=UaXApYN6NGk

Womit hast Du das gemacht?

Viele Grüße und viel Erfolg mit dem Spiel.

 

[HPWsoft]

Hallo,

vielen Dank für die ausführliche Rückmeldung. Genau solche Einordnungen finde ich spannend, weil hier natürlich sehr unterschiedliche Perspektiven zusammenkommen.

Du hast völlig recht: Aus Sicht klassisch produzierender Musiker ist die eigentliche musikalische Arbeit etwas anderes als „Suno generiert einen Song“. Ich wollte mit „Regiearbeit“ auch nicht sagen, dass das mit Einspielen, Recording, Mix und Mastering gleichzusetzen ist. Gemeint war eher die gestalterische Arbeit am Gesamtvideo: Welche Stimmung soll es haben, welche Bilder passen zu welchen Songabschnitten, welche Clips funktionieren, welche fliegen raus, und wie wird daraus am Ende ein zusammenhängendes Musikvideo.

Bei meinem Projekt kommt noch dazu, dass ich eigentlich aus der Game-Development-Ecke komme. Fizzles ist ein kleines Puzzle-Rescue-Spiel in Entwicklung. Song und Video sind also eher ein atmosphärisches Begleitstück zum Spielprojekt und kein klassisch produzierter Band-/Studio-Release.

Zum technischen Ablauf:

Die Musik wurde mit Suno erstellt. Das Videomaterial habe ich nicht als komplettes Video am Stück generieren lassen, sondern aus vielen kurzen 5-Sekunden-Clips zusammengesetzt. Dafür habe ich zu den einzelnen Songabschnitten Bildideen und Startbilder erzeugt, die dann als Grundlage für die Video-KI dienten.

Die Video-Clips liefen über Kaiber, hauptsächlich mit Wan 2.2 Turbo. Das funktionierte bei Landschaften, ruhigen Kamerafahrten und atmosphärischen Szenen recht gut. Schwieriger waren Szenen mit mehreren kleinen Fizzles: Dort gab es typische KI-Probleme wie verformte Figuren, falsche Bewegungsrichtung, veränderte Augen oder Figuren, die plötzlich aus dem Bild liefen. Drei finale Clips habe ich deshalb später mit Seedance 2.0 Fast neu erzeugt, weil Seedance bei den Figurenbewegungen stabiler war.

Bei Kaiber läuft das Ganze über Credits. Wie viele Clips ich verworfen habe, habe ich nicht exakt protokolliert, grob geschätzt waren es etwa 10 %. Bei einfachen Landschaften reichte oft ein Versuch, bei Fizzle-Szenen waren teilweise mehrere Anläufe nötig. Der kritischste Teil war eindeutig die Konsistenz der wiederkehrenden Figuren.

Den finalen Schnitt habe ich komplett manuell in Kdenlive 21.12.3 unter Ubuntu 22.04.5 LTS gemacht: Clips auswählen, sortieren, auf die Musik legen, Übergänge setzen, Timing anpassen und exportieren. Ein KI-Editing-Tool, das automatisch den kompletten Schnitt gemacht hätte, habe ich nicht verwendet.

Deine Beobachtung mit dem Wasser aus den Luftinseln kann ich nachvollziehen. Das ist allerdings kein ungewollter KI-Fehler, sondern war schon in den Bildvorlagen enthalten und von mir bewusst beibehalten. Ich mag dieses Motiv, weil es die Fizzles-Welt märchenhafter macht. Schwebende Inseln mit Wasserfällen müssen für mich nicht physikalisch realistisch sein, sondern gehören eher zur Fantasielogik der Welt.

Die Kirby-Assoziation ist interessant. Die Fizzles sollen schon niedlich und rund wirken, aber nicht direkt in diese Richtung gehen. Für das Spiel selbst sind sie als eigene kleine Rescue-Figuren gedacht. Die Musik ist bewusst eher verträumt und ruhig gehalten, weil ich damit weniger Action, sondern eher „kleine Wesen sicher nach Hause bringen“ transportieren wollte.

Und ja, das Thema „Was ist wirklich manuell gemacht?“ ist bei KI-Projekten schwierig. Deshalb versuche ich das offen zu beschreiben: Musik und Bild-/Videomaterial sind KI-unterstützt entstanden, aber Auswahl, Szenenaufbau, Prompt-Überarbeitung, Verwerfen fehlerhafter Clips, Timing, Schnitt und finale Montage habe ich manuell gemacht.

Viele Grüße

 

[Ethersis]

Sieht nett aus. Aber die latschen 5 Minuten durch die Gegend. Die KI hat nette Bilder gemacht aber eine Story sehe ich nicht. Mal ist es hell, mal dunkel, dann wieder hell, alles sehr ähnlich. Man hätte zumindest ein paar Hindernisse aus dem Spiel integrieren können um ein bisschen Spannung in das Video zu bringen.
Bist du denn Programmierer oder codest du das Spiel auch per KI?

 

[HPWsoft]

Danke dir für die Rückmeldung.

Ein Stück weit stimmt das natürlich: Die Fizzles laufen viel durch die Gegend. Das ist aber tatsächlich auch im Spielprinzip so angelegt. Fizzles ist ein Puzzle-Rescue-Spiel, bei dem die Figuren eher monoton weiterlaufen und der Spieler über Fähigkeiten eingreift, also z. B. Graben, Fallen abfedern, Stoppen, Klettern oder Brücken bauen.

Ein paar dieser Spielelemente sind im Video auch an den passenden Stellen drin: Climber, Floater und Stopper kommen dort vor, wo sie zum jeweiligen Songabschnitt passen. Ich wollte aber bewusst kein Gameplay-Video und keine echten Level-Lösungen zeigen. Deshalb habe ich die Hindernisse eher atmosphärisch angedeutet und nicht als konkrete Spielszenen aufgebaut.

Das Video ist außerdem streng entlang des Songtexts entstanden. Zu jeder Textzeile beziehungsweise jedem Songabschnitt wurde ein eigener Clip erzeugt. Dadurch passt jeder Clip zur jeweiligen Zeile, aber es entsteht natürlich weniger klassische Filmhandlung als bei einem frei erzählten Video. Dinge, die im Songtext nicht vorkommen, wollte ich nicht künstlich hineinbauen, nur damit mehr Action entsteht.

Dein Punkt zur Gleichförmigkeit ist trotzdem nachvollziehbar. Für einen richtigen Trailer würde ich die Spielmechaniken deutlich direkter zeigen, mit klareren Hindernissen, Entscheidungen und mehr Spannung. Dieses Video war für mich eher ein Experiment: Wie weit kommt man mit KI-generierten Bildern und kurzen Videoclips, wenn man daraus manuell ein Musikvideo zu einer Spielwelt zusammensetzt?

Zum Spiel selbst: Ja, ich bin Programmierer und entwickle Fizzles in Godot.

KI unterstützt mich inzwischen in meiner täglichen Arbeit und macht mich deutlich produktiver. Das Spiel wäre auch ohne KI entstanden, aber ich hätte wesentlich länger daran gearbeitet. Ich nutze KI als Werkzeug für Ideen, Musik, Bilder, Prompts und teilweise zur Unterstützung bei technischen Fragen oder Lösungsansätzen.

Wichtig ist aber: Ich verstehe den Code und die Spielmechaniken selbst. Wenn die KI Fehler macht, kann ich diese finden, beurteilen und selbst korrigieren. Die eigentliche Verantwortung für Mechaniken, Integration, Tests, Levelaufbau und das Zusammensetzen im Godot-Projekt liegt bei mir.