AI och den bitterljuva kärleken

Under en intensiv dag i mars 2024 testade arbetsgruppen bakom projektet Kodnamn: Merkurius möjligheterna kring att placera en karaktär i fantasifulla miljöer skapade med hjälp av AI-genererade bakgrundsfonder och ett minimum av scenografi. Skulle illusionen bli övertygande?

Hoten och möjligheterna kring artificiell intelligens har varit på mångas läppar det senaste året. Själv har jag gått med en gnagande känsla av att ifall jag inte lyckas hoppa med på tåget nu blir jag snart passé. Är känslan ogrundad? Jag misstänker i vilket fall som helst att det finns många som sällar sig till skaran av kreativa skapare som kämpar med att omdefiniera sin plats i utvecklingen.

En torsdag kväll vårvintern 2023 satt jag i husbolagets bastu då idén till en berättelse slog mig. Jag hade sett att Yle efterlyste nyskrivna, nyskapande kortfilmsmanus för en ung målgrupp. Rubrikerna om AI:s rasande snabba framfart i kombination med att jag redan en längre tid drömt om att få testa virtuell studio som arbetsmetod gjorde att pusselbitarna föll på plats.

Manusförfattaren Monica Vikström-Jokela tvekade inte att anta utmaningen att förädla mina tankar, och kort därefter anslöt sig produktionsbolaget Poolboy Oy med Joel Rahkonen och Sonia Stenius i spetsen till projektet. Resultatet av utvecklingsarbetet ledde till ett manus med titeln Kodnamn: Merkurius.

Jag hade under en längre tid med intresse följt Formlös Oy:s verksamhet. De specialiserar sig på virtuell produktion i kombination med projicering på LED-vägg. Arbetsmetoden möjliggör att nästan vilken omgivning som helst kan skapas live i studion. Det färdiga slutresultatet sparas direkt på minneskortet, och kan på så sätt minimera behovet av en tung postproduktion. Jesse Ekholm, som är fotograf och en av ägarna på Formlös, hoppade med på projektet i ett tidigt skede.

Senare samma vår efter min kreativa bastutur blev vi inbjudna av Aalto Digital Creatives att presentera det tekniska genomförandet i en pitchtävling i samband med evenemanget Aalto Art & Tech ’23. Av sammanlagt 92 inskickade bidrag gick vi tillsammans med fyra andra pitchar hem med en vinst. Resultatet för vår del blev en prissumma på 10 000 € som vi skulle använda i en teknisk demo av konceptet. Vi fick även fri tillgång till Aalto Studios värdefulla inspelningsutrustning för genomförandet. Yles manustävling ledde däremot inte till finansiering.

Kodnamn: Merkurius är en berättelse om tolvåriga Marke som befinner sig i kläm i föräldrarnas separation. Efter ett häftigt gräl flyttar mamman in hos mormor i grannhuset, och föräldrarna vägrar att tala med varandra. Då tvingas Marke sköta kommunikationen mellan de stridande parterna som har hängt upp sig på oväsentligheter. Som en överlevnadsmekanism skapar huvudpersonen ett alter ego; Merkurius – budbäraren. Merkurius uppdrag är att ta sig genom ingenmansland, över klyftan som skapats tvärs genom det forna riket Unionen, för att leverera meddelanden mellan befälhavarna Maia och Jupiter. Om Merkurius sköter sitt uppdrag väl finns det kanske hopp om att allting skall bli bra igen.

Det här ville vi testa: är det möjligt att visualisera en fantasy-betonad berättelse på ett kostnadseffektivt och praktiskt genomförbart sätt utan att det sker på slutresultatets bekostnad?

Miljöerna vi testade i denna demo baserar sig på filmens manus som jag komprimerat ner till en teaser. I slutresultatet kommer vi att få se filmens huvudperson i badrummet, vid en tunnel i en enorm död häck, i Maias tronsal, i Jupiters tronsal, i en apokalyptisk klyfta och i vardagsrummet hemma i soffan i föräldrarnas famn.

LED-väggen med tillhörande teknik vi hade till förfogande tack vare Formlös är en jättelik skärm på 7 x 3,5 meter, bestående av 98 separata LED-paneler. Med hög resolution, en god återgivning av färger och kraftig ljusstyrka sköter LED-väggen dels allt som syns i bakgrunden då man filmar, dels en hel del av den ljussättning som påverkar de fysiska elementen placerade i studion framför väggen.

I dagens läge finns det redan ett stort antal AI-verktyg att välja mellan för audiovisuell produktion, och alla sköter olika uppgifter. För att skapa bakgrunderna som vi behövde för att kunna bygga miljöerna för de olika scenerna i den här demon använde vi en kombination av följande:

Midjourney: Ett verktyg som bland annat kan generera “unika” bilder baserade på beskrivningar. Verktyget skapar bilder genom att skriva ner en träffsäker text prompt. Utöver bildbeskrivningen använder man sig av nyckelord och kommandon som representerar tekniska aspekter; till exempel bildförhållande, mängden detaljer, realism, stil etc för att uppnå ett specifikt slutresultat. Det gäller att lära sig att tala Midjourneys språk för att lyckas.

Verktyget “Generative Fill” i Adobe Photoshop: Ett verktyg för att expandera befintliga bilder eller ersätta delar av en bild med ett nytt innehåll baserat på antingen en textbeskrivning eller den omkringliggande informationen i bilden som verktyget analyserar.

Runway AI: Ett verktyg för att generera rörlig bild på basis av en stillbild.

Ibland kräver det ganska långa haranger för att få till det. Ovanstående bild är ett resultat av följande text prompt:

“An award winning, photorealistic image of a wall of decaying branches and leaves with a tunnel opening in the middle. The image showcases the intricate details of the twisted branches, the dead leaves and the mystical tunnel, leaving an empty area of forest floor in the foreground. The lighting is moody and soft, with scattered light emitting from within the tunnel to give a sense of depth. The image conveys a sense of wonder but also danger as the tunnel is strangely inviting. Cinematic, photorealistic, hyper realism, ultra-detailed, intricate details, contrast, shadows, rough, shimmering, global illumination, screen space global illumination, ray tracing global illumination, optics, scattering, glowing, gb displacement, ambient occlusion, anti-aliasing, fkaa, txaa, rtx, ssao, shaders, gls l-shaders, post processing, post-production, cgi, vfx, sfx, 8k, directed by Tim Burton–q 3–stylize 0 –v 6.0 –ar 2:1”

Samtliga bakgrunder i demon har sitt ursprung i Midjourney, och för att ytterligare förädla bilderna har en del av dem städats upp med hjälp av Photoshops verktyg för “generative fill”. En del av bakgrunderna krävde dessutom en subtil rörelse för att illusionen skulle fungera bättre. Lösningen till det sistnämnda blev att nyttja Runway AI:s verktyg för att konvertera stillbild till video.

Ett konkret exempel är att det var väldigt svårt att få Midjourney att generera ett vardagsrum utan att verktyget också inkluderade en soffa. Då vi använde en fysisk soffa i studion blev lösningen att trolla bort soffan i vardagsrumsbilden med hjälp av Photoshops generative fill-verktyg. Det fungerade förvånansvärt bra – soffan försvann och ersattes istället av en matta och en låg hylla med böcker. Samma verktyg kom väl till pass för att modifiera bilden av badrummet som bland annat behövde bli av med en extra toalettstol samt badrumsspegeln som inte skulle inkluderas i och med att vi i studion filmade dels genom, dels via en fysisk spegel.

När vi blivit klara med att bygga upp den första scenen slogs jag av hur övertygande allting såg ut genom kamerans lins. Jag köpte illusionen av vår karaktär som stod framför badrumsspegeln och borstade tänderna, även om den enda scenografin var ett gammalt fönster som representerade spegelns baksida samt några hygienprodukter som stod på rad i bildens nedre kant. Den AI-genererade bakgrunden på LED-väggen fyllde upp resten av rutan.

De AI-genererade bakgrundsbilderna är långt ifrån perfekta om man börjar analysera dem noggrant. Det finns konstiga detaljer här och där, och bilderna är inte direkt fotorealistiska eller verklighetstrogna. Men då de används som en del av en större helhet för att utgöra en bakgrund fungerar det. Faktum är ändå att man som tittare koncentrerar sig på vad karaktären gör snarare än den suddiga bakgrunden.

Tolvåriga Hanna Wahlström, som Joel, Monica och jag jobbat med på dramaserien Spegelvägen (Svenska Yle, 2021), gjorde ett strålande arbete med tanke på det ovana arbetssättet. Att kunna se sin omgivning och veta var saker och ting är i utrymmet är till stor hjälp för att komma in i rätt stämning – om jämförelsen är att jobba i en green screen studio, där omgivningen skapas i efterhand.

Min personliga åsikt är att det går bra att använda sig av AI-genererade bilder i en sådan här kontext. Samtidigt handlar det ju inte om magi, utan planeringen, samarbetet och visionen av vad slutresultatet skall bli är fortfarande lika viktigt som i vilken produktionsmetod som helst.

Konceptet togs i beaktande redan i manusskedet, vilket i sin tur ledde till att vi hittade praktiskt genomförbara lösningar inför testinspelningarna. Det kräver en hel del övning att kunna skapa effektiva prompts i Midjourney som leder till önskat slutresultat, men då man blir van är det inom rimliga ramar möjligt att skapa en enhetlig stil på materialet. Tack vare att bakgrunderna existerade i god tid innan inspelningarna var det också möjligt för vår scenograf Mia-Irene Sundqvist att ordna med scenografier, kostym och rekvisita som stödde helheten.

Om filmen Kodnamn: Merkurius kommer att realiseras i framtiden kommer jag absolut att vilja genomföra de scener som utspelar sig i huvudpersonens fantasi på det här sättet. Slutresultatet i förhållande till kostnaden är svårt att ignorera, samtidigt som jag har en kluven attityd till AI överlag. Det är roligt att testa gränserna för sin egen fantasi, och även om dessa verktyg öppnar upp enorma möjligheter för nya uttryckssätt kan jag ändå inte förneka känslan att det här är början på ett slut för en del av branschen. Framtiden är nu, på gott och ont.