Die einzelnen Phasen des Workflows bestehen ersteinmal aus 9 Phasen, die bis zum Raw Cut führen. Bis zum Raw Cut sind. ca. 70 % des Weges geschafft. Danach geht es in das Fine-Tuning der Animation, von Audio bis hin zum Final Cut, um am Ende einen finalen Film zu haben (dazu später mehr)
1.KI/PROMPTING (Midjourney u.a)
2.UPSCALING (Midjourney / Topaz Labs u.a)
3.SZENEN SETUP (Affinity Photo/Photoshop u.a.)
4.VOR ANIMATION (Blender/Cinema 4d.)
5. VOR RENDERN (Blender/Cinema 4d)
6.AUDIO TEXT (Wondershare)
7.AUDIO MUSIK
8. AUDIO GERÄUSCHE
9. RAW CUT (Wondershare/da Vinci Resolve)
Alle entscheidenden Information zu den jeweilgen Szenen, gibt es über das Storyboard des Filmes. Diese Storyboard wird es in 4 Varianten geben.
- Excel Tabelle
- Trello Board (hierzu wird es noch eine spezielle Verlinkung, evtl sogar Integration im Blog geben)
- Eine Offline Übersicht für evtl vor Ort Mitarbeiter, in Form einer magnetischen Wand mit beschriffteten Etiketten.
- Und einen Ordner in denen alle Szenen augedruckt mit einem - to do - abgeheftet sind.
Das Projekt des ersten Teil des Filmes (Albedo - das Land des Lichtes) umfasst im Moment 35 Kapitel oder Szenen genannt. Jede Szene hat wiederum eine unterschiedliche Anzahl an Bilder (in denen die Animation stattfindet). Diese Anzahl liegt momentan zwischen 3 - 16 Bilder pro Szene, so das am Ende eine Anzahl von c.a 300 - 350 Bühnen entstehen. Alles weitere zum Thema "Bühnen bzw Bilder und Szenen" an anderer Stelle.
PHASE 1: KI Prompting (Midjourney /Stable Diffusion)
Im ersten Schritt werden mit Hilfe von Text/to Image oder auch Image/to Image Eingaben Hintergründe und Figuren "besprochen"
Diese Bearbeitung findet überwiegend in Midjourney statt kann aber zur Unterstützung auch auf Stable Diffusion oder andere Applikationen ausgeweitet werden. Entscheidend ist dabei das der jeweils festgelegte Bildstil erhalten bleibt.
Der Stil ist eine Kombination aus folgenden Begriffen bzw Künstlern:
- Lyonel Feininger (Landschaft)
- Simon Stalenhag (Figuren)
- Carl Spitzweg (Figuren)
- Moebius (Landschaft und Figuren)
Unterstützt werden diese Namen mit Begriffen wie: Concept art, Linocut art, Strong lines, Vivid Lines
PHASE 2: Upscalling
Um eine einwandfreie Nachbearbeitung zu gewährleisten ist es wichtig eine Imagegröße zu erhalten die das Freistellen von Figuren und Objekten ermöglicht.
Dafür bietet sich der interen Upscaler von Midjourney ebenso an wie z. b Aplikationen wie Topaz Labs. Der interen Upscaler kostet allerdings Serverzeit.
Bilder in der Vorbearbeitung intern auf wahlweise 200 DPI hochskalieren um sauber freizustellen. Zum späteren Exportieren wieder auf 72 DPI herunterskalieren.
PHASE 3: Collagen und Nachbearbeitung zu einer exportfähigen Bilddatei
Für die Nachbearbeitung benutze ich persönlich Affinity Photo. Von dort ist später der Export in einen PSd Datei in Ebenen kein Problem.
Die Nachbearbeitung beinhaltet das SZENEN SET UP und meint, aus dem Bildmaterial Hintergründe zusammen zu suchen und neu zu erstellen, die für die jeweilige Szene passend sind.
PHASE 4: Szenen Setup in einem 3d Animationsprogramm
Eine der wichtigsten Phasen beginnt mit dem Szenen Setup in einem 3d Animationsprogramm (Blender/Cinema4d)
Stages bzw Bühnen sind Setups in denen die einzelnen Kapitel und Szenen des Filmes am Ende spielen. Dort werden die Animationen stattfinden. Diese Stages sind 3d Enviroments in denen Die jeweilige Umgebung nachgebaut wird.
Das Nachbauen dieser Umgebung findet nicht auf dem herkömlichen Wege statt wie man es evtl aus einem 3d Film heraus kennt. Was bedeutet das genau?
Normalerweise wird in der 3d Welt vom Objekt zur Textur hin gearbeitet. Das heißt, es wird ein Objekt Punkt für Punkt konstruiert, oder auch auf ein vorhandenes Objekt aus einer Bibliothek zurückgegriffen. Danach erst wird die Textur drauf gemappt oder auch direkt auf das Objekt gemalt.
In diesem Projket bzw Workflow wenden wir einen völlig anderen Ansatz an. Und zwar nutzen wir die visuelle Stärke des KI generierten Bildes (einer Landschaft oder eines Objektes), stellen die Szene bzw das Objekt frei, und projizieren das Bild auf eine einfache simple 3d Fläche wie ein Rechteck. Ein gebäude mit seinen vier bis fünf Seiten wird so Stück für Stück Aufgebaut. Ebenso der Boden und die nähere Umgebung wie Gräser Bäume und Props der Umgebung. Die Bilder die dafür verwendet werden sind PNG's mit einem Alphakanal, so da die Form des jeweiligen Objektes besser zur Geltung kommt. Aus der Distanz betrachtet sieht das Objekt wir 3d konstruiert aus ist aber in Wirklichkeit nur ein flaches Bild.
Wir machen uns so die Trägheit des menschlichen Auges und die Konstruktions-fähigkeit des menschlichen Gehirnes zu nutze.
PHASE 5: Vor Rendern
Das Vor Rendern in Cartoon Animator ist einer der kürzesten Arbeitsabschnitte. Hier werden ab dem Punkt, wenn die Szenenabläufe voranimiert sind, einfach die jeweiligen Szenen in einer HD Version 1080p, in niedriger Auflösung gerendert und in den jeweiligen Ordner zum Raw Cut abgelegt.
Die spätere Finale Versionen werden dann in einer 2K Version (1920 x 1080) gerendert. Upscaling über Topaz Labs auf 4k wäre später ohne Probleme möglich.
Bein Anlegen einer Cartoon Animator Datei, wäre es allerdings wichtig darauf zu achten, das die "Bühne" wenigstens schon im richtigen Format angelegt ist.
PHASEN 6 - 8: Die Audio Phasen/Spuren
Um am Ende im Raw Cut die Schnitte und Anschlüsse richtig zu trimmen sind Dialoge von entscheidender Bedeutung.
Die Dialoge in dem Film bestehen aus zwei völlig verschiedenen Varianten.
- Off Text: Das ist der Text der direkt aus dem Manuskript entnommen wird und von einem übergeordneten Erzähler meist zu Beginn jeder Szenen darüber gesprochen wird.
- Dialog Text: Das ist der Text, dem Figuren zugesprochen, und die diese im Bild direkt sprechen werden. Auch hier gibt es zwei Arten von Dialogen. Die Dialoge die aus der Totalen zu sehen sind und die Dialoge die im Closeup zu sehen sind.
Der Unterschied ist nicht unerheblich, da in der Totalen die Gesichtsmimik nicht so genau zu erkennen ist; im Close up allerdings werden Veränderungen im Gesicht sehr deutlich zu sehen sein. Die Emotionen die dabei entstehen, erforden ein anderes Kopf Setup.
Diese Audio Texte werden in der Vorphase von KI Stimmen vorgesprochen. Die Bearbeitung erfolgt direkt in Cap Cut dem Editorprogramm für den Raw Cut.
Falls die Entwicklung in der KI Technologie bis dahin weit genug ist, wäre es auch schon möglich mit über Micro aufgenommen Stimmen so stark zu verfremden und ihre Duktus mit Hilfe von KI Algorythmen zu verändern. Dazu steht momentan die Seite Musicfy zu Verfügung.
PHASEN 9 : RAW CUT
Im Raw Cut werden sämtliche Dateien, die in einem speziellen Orden abgelegt sind zum Vorschnitt in Cap Cut zusammengefügt. Erst hier sind die einwandfreien Anschlüsse der Szenen koordinierbar und müssen gegebenfalls getrimmt werden.
Audio Text wird evtl erst hier erzeugt. Audio Musik und Geräusche liegen dann im Ordner ab. Alles zum Thema Audio Musik/Geräusche an anderen Stelle.
Wie geht es nach dem RAW CUT weiter ?
Alles was nach dem Raw Cut kommt, kann erst nach genauer Ansicht des Filmes entschieden werden. Dazu gehören die Koordinationen des Figuren Setups. Also, welche Figuren werden in welcher Deatailgenauigkeit angelegt. Hauptfiguren und Nebenfiguren werden auf jeden Fall ein komplettes Setup erhalten. Figuren dritter Ordnung sind also überprüfbar. Das wird sich im Laufe des Projektes ergeben. Alles zum Thema Ordnung der Figuren - an anderer Stelle.