AI och den bitterljuva kärleken

Under en intensiv dag i mars 2024 testade arbetsgruppen bakom projektet Kodnamn: Merkurius möjligheterna kring att placera en karaktär i fantasifulla miljöer skapade med hjälp av AI-genererade bakgrundsfonder och ett minimum av scenografi. Skulle illusionen bli övertygande?

Hoten och möjligheterna kring artificiell intelligens har varit på mångas läppar det senaste året. Själv har jag gått med en gnagande känsla av att ifall jag inte lyckas hoppa med på tåget nu blir jag snart passé. Är känslan ogrundad? Jag misstänker i vilket fall som helst att det finns många som sällar sig till skaran av kreativa skapare som kämpar med att omdefiniera sin plats i utvecklingen.

En torsdag kväll vårvintern 2023 satt jag i husbolagets bastu då idén till en berättelse slog mig. Jag hade sett att Yle efterlyste nyskrivna, nyskapande kortfilmsmanus för en ung målgrupp. Rubrikerna om AI:s rasande snabba framfart i kombination med att jag redan en längre tid drömt om att få testa virtuell studio som arbetsmetod gjorde att pusselbitarna föll på plats.

Manusförfattaren Monica Vikström-Jokela tvekade inte att anta utmaningen att förädla mina tankar, och kort därefter anslöt sig produktionsbolaget Poolboy Oy med Joel Rahkonen och Sonia Stenius i spetsen till projektet. Resultatet av utvecklingsarbetet ledde till ett manus med titeln Kodnamn: Merkurius.

Jag hade under en längre tid med intresse följt Formlös Oy:s verksamhet. De specialiserar sig på virtuell produktion i kombination med projicering på LED-vägg. Arbetsmetoden möjliggör att nästan vilken omgivning som helst kan skapas live i studion. Det färdiga slutresultatet sparas direkt på minneskortet, och kan på så sätt minimera behovet av en tung postproduktion. Jesse Ekholm, som är fotograf och en av ägarna på Formlös, hoppade med på projektet i ett tidigt skede.

Fotograf Jesse Ekholm under testinspelningen av Kodnamn: Merkurius.
Fotograf Jesse Ekholm under testinspelningen av Kodnamn: Merkurius. Foto: Jasper Löfberg.

Senare samma vår efter min kreativa bastutur blev vi inbjudna av Aalto Digital Creatives att presentera det tekniska genomförandet i en pitchtävling i samband med evenemanget Aalto Art & Tech ’23. Av sammanlagt 92 inskickade bidrag gick vi tillsammans med fyra andra pitchar hem med en vinst. Resultatet för vår del blev en prissumma på 10 000 € som vi skulle använda i en teknisk demo av konceptet. Vi fick även fri tillgång till Aalto Studios värdefulla inspelningsutrustning för genomförandet. Yles manustävling ledde däremot inte till finansiering.

Producent Joel Rahkonen och regissör Staffan Gräsbeck pitchar idén på Aalto Art & Tech ‘23.
Producent Joel Rahkonen och regissör Staffan Gräsbeck pitchar idén på Aalto Art & Tech ‘23. Foto: Fredrik Waselius.

Kodnamn: Merkurius är en berättelse om tolvåriga Marke som befinner sig i kläm i föräldrarnas separation. Efter ett häftigt gräl flyttar mamman in hos mormor i grannhuset, och föräldrarna vägrar att tala med varandra. Då tvingas Marke sköta kommunikationen mellan de stridande parterna som har hängt upp sig på oväsentligheter. Som en överlevnadsmekanism skapar huvudpersonen ett alter ego; Merkurius – budbäraren. Merkurius uppdrag är att ta sig genom ingenmansland, över klyftan som skapats tvärs genom det forna riket Unionen, för att leverera meddelanden mellan befälhavarna Maia och Jupiter. Om Merkurius sköter sitt uppdrag väl finns det kanske hopp om att allting skall bli bra igen.

Staffan Gräsbeck går igenom följande tagning med skådespelare Hanna Wahlström.
Staffan Gräsbeck går igenom följande tagning med skådespelare Hanna Wahlström. Foto: Jasper Löfberg.

Det här ville vi testa: är det möjligt att visualisera en fantasy-betonad berättelse på ett kostnadseffektivt och praktiskt genomförbart sätt utan att det sker på slutresultatets bekostnad?

Miljöerna vi testade i denna demo baserar sig på filmens manus som jag komprimerat ner till en teaser. I slutresultatet kommer vi att få se filmens huvudperson i badrummet, vid en tunnel i en enorm död häck, i Maias tronsal, i Jupiters tronsal, i en apokalyptisk klyfta och i vardagsrummet hemma i soffan i föräldrarnas famn.

LED-väggen med tillhörande teknik vi hade till förfogande tack vare Formlös är en jättelik skärm på 7 x 3,5 meter, bestående av 98 separata LED-paneler. Med hög resolution, en god återgivning av färger och kraftig ljusstyrka sköter LED-väggen dels allt som syns i bakgrunden då man filmar, dels en hel del av den ljussättning som påverkar de fysiska elementen placerade i studion framför väggen.

Teamet redo för nästa tagning. Hanna Wahlström i position på det lätta förgrundselementet, i bakgrunden LED-väggen som projicerar en av de AI-genererade bakgrunderna.
Teamet redo för nästa tagning. Hanna Wahlström i position på det lätta förgrundselementet, i bakgrunden LED-väggen som projicerar en av de AI-genererade bakgrunderna. Foto: Jasper Löfberg.

I dagens läge finns det redan ett stort antal AI-verktyg att välja mellan för audiovisuell produktion, och alla sköter olika uppgifter. För att skapa bakgrunderna som vi behövde för att kunna bygga miljöerna för de olika scenerna i den här demon använde vi en kombination av följande:

Midjourney: Ett verktyg som bland annat kan generera “unika” bilder baserade på beskrivningar. Verktyget skapar bilder genom att skriva ner en träffsäker text prompt. Utöver bildbeskrivningen använder man sig av nyckelord och kommandon som representerar tekniska aspekter; till exempel bildförhållande, mängden detaljer, realism, stil etc för att uppnå ett specifikt slutresultat. Det gäller att lära sig att tala Midjourneys språk för att lyckas.

Verktyget “Generative Fill” i Adobe Photoshop: Ett verktyg för att expandera befintliga bilder eller ersätta delar av en bild med ett nytt innehåll baserat på antingen en textbeskrivning eller den omkringliggande informationen i bilden som verktyget analyserar.

Runway AI: Ett verktyg för att generera rörlig bild på basis av en stillbild.

En av bakgrunderna i demon
En av bakgrunderna i demon. Foto: Midjourney & Staffan Gräsbeck.

Ibland kräver det ganska långa haranger för att få till det. Ovanstående bild är ett resultat av följande text prompt:

“An award winning, photorealistic image of a wall of decaying branches and leaves with a tunnel opening in the middle. The image showcases the intricate details of the twisted branches, the dead leaves and the mystical tunnel, leaving an empty area of forest floor in the foreground. The lighting is moody and soft, with scattered light emitting from within the tunnel to give a sense of depth. The image conveys a sense of wonder but also danger as the tunnel is strangely inviting. Cinematic, photorealistic, hyper realism, ultra-detailed, intricate details, contrast, shadows, rough, shimmering, global illumination, screen space global illumination, ray tracing global illumination, optics, scattering, glowing, gb displacement, ambient occlusion, anti-aliasing, fkaa, txaa, rtx, ssao, shaders, gls l-shaders, post processing, post-production, cgi, vfx, sfx, 8k, directed by Tim Burton–q 3–stylize 0 –v 6.0 –ar 2:1”

Samtliga bakgrunder i demon har sitt ursprung i Midjourney, och för att ytterligare förädla bilderna har en del av dem städats upp med hjälp av Photoshops verktyg för “generative fill”. En del av bakgrunderna krävde dessutom en subtil rörelse för att illusionen skulle fungera bättre. Lösningen till det sistnämnda blev att nyttja Runway AI:s verktyg för att konvertera stillbild till video.

Ett konkret exempel är att det var väldigt svårt att få Midjourney att generera ett vardagsrum utan att verktyget också inkluderade en soffa. Då vi använde en fysisk soffa i studion blev lösningen att trolla bort soffan i vardagsrumsbilden med hjälp av Photoshops generative fill-verktyg. Det fungerade förvånansvärt bra – soffan försvann och ersattes istället av en matta och en låg hylla med böcker. Samma verktyg kom väl till pass för att modifiera bilden av badrummet som bland annat behövde bli av med en extra toalettstol samt badrumsspegeln som inte skulle inkluderas i och med att vi i studion filmade dels genom, dels via en fysisk spegel.

Vardagsrummet före och efter.
Vardagsrummet före och efter. Foto: Midjourney & Staffan Gräsbeck.

När vi blivit klara med att bygga upp den första scenen slogs jag av hur övertygande allting såg ut genom kamerans lins. Jag köpte illusionen av vår karaktär som stod framför badrumsspegeln och borstade tänderna, även om den enda scenografin var ett gammalt fönster som representerade spegelns baksida samt några hygienprodukter som stod på rad i bildens nedre kant. Den AI-genererade bakgrunden på LED-väggen fyllde upp resten av rutan.

Skärmbild från demoinspelningarna. Huvudpersonen filmas genom badrumsspegeln.
Skärmbild från demoinspelningarna. Huvudpersonen filmas genom badrumsspegeln. Foto: Jesse Ekholm.

De AI-genererade bakgrundsbilderna är långt ifrån perfekta om man börjar analysera dem noggrant. Det finns konstiga detaljer här och där, och bilderna är inte direkt fotorealistiska eller verklighetstrogna. Men då de används som en del av en större helhet för att utgöra en bakgrund fungerar det. Faktum är ändå att man som tittare koncentrerar sig på vad karaktären gör snarare än den suddiga bakgrunden.

Tolvåriga Hanna Wahlström, som Joel, Monica och jag jobbat med på dramaserien Spegelvägen (Svenska Yle, 2021), gjorde ett strålande arbete med tanke på det ovana arbetssättet. Att kunna se sin omgivning och veta var saker och ting är i utrymmet är till stor hjälp för att komma in i rätt stämning – om jämförelsen är att jobba i en green screen studio, där omgivningen skapas i efterhand.

Hanna Wahström i rollen som Marke
Hanna Wahström i rollen som Marke. Foto: Jasper Löfberg.

Min personliga åsikt är att det går bra att använda sig av AI-genererade bilder i en sådan här kontext. Samtidigt handlar det ju inte om magi, utan planeringen, samarbetet och visionen av vad slutresultatet skall bli är fortfarande lika viktigt som i vilken produktionsmetod som helst.

Konceptet togs i beaktande redan i manusskedet, vilket i sin tur ledde till att vi hittade praktiskt genomförbara lösningar inför testinspelningarna. Det kräver en hel del övning att kunna skapa effektiva prompts i Midjourney som leder till önskat slutresultat, men då man blir van är det inom rimliga ramar möjligt att skapa en enhetlig stil på materialet. Tack vare att bakgrunderna existerade i god tid innan inspelningarna var det också möjligt för vår scenograf Mia-Irene Sundqvist att ordna med scenografier, kostym och rekvisita som stödde helheten.

Skärmbild från demoinspelningarna. Familjen tittar på TV i vardagsrummet.
Skärmbild från demoinspelningarna. Familjen tittar på TV i vardagsrummet. Personer från vänster: Sonia Stenius, Hanna Wahlström och Joel Rahkonen. Foto: Jesse Ekholm.

Om filmen Kodnamn: Merkurius kommer att realiseras i framtiden kommer jag absolut att vilja genomföra de scener som utspelar sig i huvudpersonens fantasi på det här sättet. Slutresultatet i förhållande till kostnaden är svårt att ignorera, samtidigt som jag har en kluven attityd till AI överlag. Det är roligt att testa gränserna för sin egen fantasi, och även om dessa verktyg öppnar upp enorma möjligheter för nya uttryckssätt kan jag ändå inte förneka känslan att det här är början på ett slut för en del av branschen. Framtiden är nu, på gott och ont.

Kodnamn: Merkurius 
Tech demo team:
Skådespelare: Hanna Wahlström
Idé & regi: Staffan Gräsbeck
Manus: Monica Vikström-Jokela
Produktion: Poolboy Oy, Joel Rahkonen & Sonia Stenius
Teknik: Formlös Oy, Jesse Ekholm & Joel Grandell
Fotograf: Jesse Ekholm
Ljuddesign: Pontus Borg
Scenograf: Mia-Irene Sundqvist
Assistenter: Otto Ainetdin, Vincent Melén & Jasper Löfberg

Andra intressanta artiklar

Bild från ingången till en biosalong. En lila skylt med texten DOKKINO är utanför dörren.

DOKKINO introducerar dokumentärfilm till finlandssvenska skolbarn och ungdomar

DOKKINO, ett ambulerande dokumentärfilmsevenemang som arrangerar visningar på biografer runt om i Finland.

Två upplagor av Sommarboken, av Tove Jansson. Foto: C. Roos.

Boken jag önskade adaptera

Om filmatiseringar, språk och finansiering. ”Det är tidigt 2020-tal och jag läser till min förvåning en notis om att Sommarboken ska filmatiseras…”

Presentationsbild för Filmvison Finland nummer 2.

Bästa läsare!

Filmvision Finland presenterar härmed sitt andra webbnummer under temat “Vems är arenan?” Med arena menar vi den skådeplats, estrad, scen där filmskapares och mediekonstnärers verk ges synlighet. Den kan idag skifta från en biografduk, en tv-skärm, en mobiltelefon, eller en utställningslokal.

I bilden från vänster till höger: Claes Olsson, Ulrika Bengts, Tommi Seitajoki, Eva-Maria Koskinen. Foto: Claes Olsson

Den finlandssvenska filmens framtid?

Vilken framtid har den finlandssvenska filmen? Vilka utmaningar och möjligheter finns? Claes Olsson, Ulrika Bengts, Tommi Seitajoki och Eva-Maria Koskinen träffas för att diskutera ämnet.