Woah, das wird was grösseres wenn ich da jetzt alles aufliste. Selbst die Kurzform wird wieder ein Wall of Text werden
Das Thema Stable Diffusion und den ganzen Erweiterungen ist halt inzwischen ähnlich komplex wie zum Beispiel 3D Grafik. Das dampfst du nicht einfach auf ein paar Sätze ein. Deswegen versuche ich es mal mit einem kurzen Kickstarter.
Erst mal vorweg, es gibt kommerzielle Anbieter die Text oder Image to Video oder auch Video to Video anbieten. RunwayML oder Pika. Da hast du den ganzen Hassel nicht. Da gibts du nur deinen Prompt ein oder lädst ein Bild oder Video hoch, stellst ein paar Sachen ein, wartest, und freust dich übers Ergebnis. Das Zeug ist aber nicht billig.
Wenn du das offline machen willst brauchst du einen Rechner mit einer guten Graka mit mindestens 8 Gb Ram. Und das geht nur mit Stable Diffusion. Andere Modelle lassen sich nicht offline nutzen.
Lad dir am Besten Stable Diffusion WebUI von Automatic1111 herunter. Das ist immer noch eine gute Wahl. Da ist auch ziemlich gut beschrieben was du alles machen musst dass das läuft. Lass dich von der ganzen Konsolengeschichte nicht schrecken. Das ist alles recht harmlos. Und du wirst da eigentlich gut durch das Setup geführt. Das macht das Ding fast automatisch.
Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account on GitHub.
github.com
Wenn du die Default Weights von Stable Diffusion willst brauchst du einen Account bei Huggingface. Die gibts so sonst nicht zum herunterladen.
Hier SD 1.5
https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main. Du willst die emaversion, die ist kleiner. Und du willst die tensorflow Version, die ist sicherer.
Und hier die SDXL Version:
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main
Dann brauchst du eventuell noch andere Weights. Speziell für deine Bedürfnisse. Die offiziellen Weights von Stable Diffusion sind zu generell um zum Beispiel gute Comiclook Ergebnisse zu liefern. Deswegen gibts Civitai. Von der Community trainierte und erstellte Weights.
https://civitai.com/
Gut ist zum Beispiel Protogen X58, wenn auch schon ein wenig älter.
https://civitai.com/models/3867/protogen-x58-rebuilt-scifianime-official-release
Oder revanimated:
https://civitai.com/models/7371/rev-animated
Ansonsten einfach durchstöbern. Und den USK 18 Inhalt am Besten einfach ignorieren.
Dann hast du schon mal die Basis. Damit kannst du nun Bilder erstellen.
Extensions lassen sich in Automatic1111 WebUI über den Extensionstab installieren. Eine Must Have Extension ist Controlnet. Damit lassen sich lustige Sachen anstellen. Brauchbares Outpainting in unlimitierter Grösse zum Beispiel. Oder auch Open Pose Modelle laden. Damit du deine Figuren posen kannst.
Für Animation gibt es derzeit drei Möglichkeiten. Deforum macht videos mit sich ständig änderndem Inhalt. Ist ein ganz spezielles Biest was die Einstellungen angeht. Und läuft gern amok. Was du dann nach einer Stunde merkst wenn es durch ist ...
Stable Video Diffusion. Das ist die offizielle Text to Video Lösung von StabilityAI. Miese Lizenz weil non commercial. Und die Ergebnisse sind so mittelprächtig wie man oben sieht. Stable Video Diffusion ist ein Weight, keine Extension:
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
Und AnimateDIFF. Da aufpassen. Es gibt mehrere Versionen, und mehrere zugehörige Motion Modules. Das sind Lora's. Lora's sind quasi eine Befehlserweiterung für die Weights. Damit kannst du nach rechts pannen, nach oben rotieren etc. Im Fall von AnimateDIFF willst du derzeit noch die Version 2 samt zugehörigen Motion Loras. Version 3 ist zu neu, da gibts noch keine Motion Loras dafür. Das Zeug liegt wieder auf Huggingface ...
Und dann gibts ja auch noch verschiedenste Methoden. Du kannst mit einem Bild starten, mit purem Text, mit einem Video, mit einer Bones Animation die du mittels Controlnet einbindest.
Und es gibt noch viel mehr Tools. Hier gibts zum Beispiel ein Tool namens DiffEx das das AnimateDIFF Motion Modul in einer einfacheren UI integriert hat. Das ist dann nicht mehr Automatic1111 oder ComfyUI. Wäre genial gewesen wenn man nur Videos mit AnimateDIFF machen will. Ich habs leider nie zum Laufen bekommen.
View: https://www.youtube.com/watch?v=TmaWVaBw8-8
Und du wirst spätestens jetzt merken wie sich das Ganze immer weiter auffächert, dass du nur noch Bahnhof verstehst, und immer mehr Spezialwissen dazukommt. Ich bin inzwischen zum Beispiel teilweise auf ComfyUI umgestiegen. Das ist ein Node basiertes Tool, ähnlich dem WebUI. Aber eben mit Nodes statt mit Reglern.
Deswegen, lad dir zum Beispiel Automatic111 WebUI runter und fang einfach an dich einzuarbeiten. Wenn du dann hängst kann ich konkret weiterhelfen, sofern ich helfen kann. Das Zeug entwickelt sich immer noch rasant weiter, und auch ich googel mir immer noch hier und da nen Wolf. Und ich kratze da auch immer noch nur an der Oberfläche. Gerade so viel dass ich meine Videos gebacken bekomme
Falls du zum Beispiel Prompt Travel in Automatic1111 WebUI verenden willst ...
View: https://www.youtube.com/watch?v=7yWK7fh2Qiw