Att använda AI inom filmbranschen – en masterclass på Söderlångvik gård

AI har nått praktisk applicering i filmbranschen. Från att generera manus och skapa specialeffekter till att simulera röster och ljussättning, erbjuder AI en uppsättning verktyg som inte bara förändrar hur filmer görs, utan också hur de upplevs.

Efter en lyckad masterclass med Alma Pöysti på Söderlångvik gård i våras ordnade Konstsamfundet och Helsinki International Filmfestival en ny masterclass 20-22.9, den här gången med temat AI – artificiell intelligens. 

Under en ovanligt varm sensommars sista dag besöker jag residenset för att se vad masterclassen går ut på och för att lyssna till hur deltagarna förhåller sig till AI. Jag möts av tolv utvalda yrkespersoner från olika delar av filmindustrin som sitter gruppvis framför sina bärbara datorer i ivrig diskussion. Jag slås av det besynnerliga i att ha en masterclass om AI i en så pittoresk miljö, men det är nog bra för den själsliga balansen. Efter en snabb kopp kaffe sätter jag mig ner för att tala med masterclass-ledaren Umberto Onza och tre av de tolv deltagarna; Sara Forsius, Arthur Franck och Hannaleena Hauru.

Vem är ledaren bakom masterclassen?

De senaste tio åren har Red Dot-belönade Umberto Onza jobbat som designer för TBWA\Helsinki och innehar nu titeln Design Director i företagets innovationsenhet NEXT, som fokuserar på Gen.AI och produktdesign. Som förespråkare för AI har Onza utvecklat en personlig förståelse för både möjligheterna och riskerna med teknologin.

– Min resa med AI började för två år sedan, när OpenAI släppte sin första modell GPT-3.5. Av ren nyfikenhet provade jag den, och inom fem minuter förstod jag hur kraftfullt systemet var  säger Onza.

Onzas bakgrund är inom industridesign, vilket han studerat i Finland och i Schweiz. Onza insåg att den artificiella intelligensen kunde göra mycket av hans vardagliga uppgifter själv –  den kunde generera 3D-former, bilder, konceptbeskrivningar och renderingar. 

– Det fick mig att undra om samhället ens skulle behöva yrken som mitt längre, eftersom det verkade som om allt jag gör kunde automatiseras, medger Onza.

– När jag fördjupat mig i AI och utvecklat en helt ny färdighetsuppsättning började jag erbjuda konsultationer och AI-träning för filmskapare, designers och marknadsföringsproffs.

Nyfikenheten drev Onza till att testa AI-verktyg för att skapa kortfilmer. Efter några veckors fördjupning i olika AI-plattformar och editeringsprogram gjorde han sin första video. När några av hans AI-genererade videor fått tiotusentals visningar på Youtube väcktes Finnish Film Affairs uppmärksamhet och de kontaktade honom för att föreläsa för filmskapare om hur man kan använda AI för att skapa film. 

En kortfilm om Kalevala visas på filmfestival

Efter sina första kortare AI-genererade videor utvecklade Onza idén om att skapa en kortfilm baserad på dikterna i Kalevala. Detta resulterade i en AI-genererad kortfilm på 20 minuter om hur Väinämöinen bar sig åt för att uppfinna öl inför en bröllopsfest. Kortfilmen visades i samband med masterclassens sista dag 22.9 på filmfestivalen Kärlek & Anarki. Den finns nu också tillgänglig på Youtube. Onza beskriver kortfilmen som en vrickad komedi med många olika bildstilar. Traditionellt finskt möter surrealistiskt färggrant.

– Idén var att tänja på teknikens gränser så mycket vi kunde för att demonstrera och visa vad som är möjligt just nu. Jag är ganska säker på att det för närvarande inte finns någon annan film som kan demonstrera så mycket av AI:s kapabiliteter på 20 minuter. Men tekniken utvecklas snabbt, och om några veckor kan den tekniska situationen redan vara en helt annan, förklarar Onza.

Allt gjordes med AI, från att skriva manuset till att skapa bilder och scenografi, röster och musik. Den mänskliga faktorn bestod av att validera, korrigera och lägga till promptar vid behov. För att producera kortfilmen användes närmare femton olika plattformar eller AI-modeller, varav de främsta är ChatGPT, Luma Dream Machine, Runway Gen-3, Midjourney, Claude 3, Flux dev, Suno, Udio och Eleven Labs. 

Vad händer på masterclassen?

Under helgen har deltagarna bekantat sig med ett brett utbud av AI-plattformar. Därefter delades de in i grupper om fyra för att skapa varsin två minuters kortfilm som visas på masterclassens sista dag.

– Vi har haft en dag på oss att skapa en liten film, så det har varit intensivt. Trots att vi inte kunnat fördjupa oss i allt, har vi fått en bra översikt över vad som är möjligt. Den större fördjupningen sker sen på egen hand i sin yrkesroll efter vad man själv är intresserad av, säger deltagaren Arthur Franck. 

Rätt promptar för att förmedla fotografens vision

Filmfotografen Sara Forsius (bl.a. Limbo, 2023 och Kan vi bara få njuta, 2022-2023) har provat på AI-generering ett fåtal gånger tidigare och ser masterclassen som en god möjlighet att utöka sin förståelse för AI. 

– Tidigare har jag inte helt förstått hur jag kan använda AI i just min yrkesroll. Jag har experimenterat med att generera bilder, men jag har tyckt att resultaten har blivit generiska och tråkiga, och att jag skulle ha kunnat skapa bättre bilder själv. Efter den här masterclassen har jag förstått att det ganska långt beror på att mina promptar har varit dåliga, säger Forsius leende.

Enligt Onza är promptning en färdighet man kan öva upp. 

– Mycket sällan får man exakt det resultat man vill ha efter sin första prompt. Det finns strukturer för att ge tydliga promptar, men även så kallade ‘prompt-ingenjörer’ kan inte fullt ut kontrollera resultatet. Man blir alltid tvungen att kombinera sin ursprungliga vision med den artificiella intelligensens AI:ns, och resultatet är ofta en kompromiss, förklarar Onza.

Under masterclassen fick Forsius möjlighet att fördjupa sin förståelse för hur AI kan användas mer effektivt i hennes arbete som filmfotograf i förproduktionsfasen, särskilt när det gäller att skapa mer detaljerade och cinematiska storyboards. 

– I vanliga fall när jag gör en storyboard inför en produktion ritar jag streckgubbar och väldigt enkla teckningar. Det fungerar när jag gör det i diskussion med regissören, men utomstående som saknar diskussionens kontext skulle nog undra vad fan det är jag har ritat, säger Forius och skrattar.

Forsius är speciellt intresserad av att testa AI för att redigera recce-bilder (recce = en sista locationscouting inför en filmproduktions inspelning). På så vis kunde hon testa olika sätt att belysa och färgsätta bilderna, och genom det skapa en mera detaljerad plan för inspelningarna eller för att förmedla sin vision till arbetsgruppen. Forsius lyfter även fram nyttan i att använda AI-genererade bilder och videor som pitch-verktyg för att förmedla sin vision till finansiärer på ett kostnadseffektivt sätt. 

En balans mellan mänskligt hantverk och artificiell hjälp

Forsius ser AI som ett verktyg som kan komplettera hennes arbete, snarare än att ersätta det. 

– Teknologin kan inte ta över mitt jobb, men den kan användas för att effektivisera delar av processen, säger hon. 

Jag frågar Forsius vad hon skulle anse om en regissör kom till henne med en färdig AI-genererad storyboard. 

– Jag skulle gärna använda det som ett bollplank och ett sätt att diskutera. En färdig bild gör det lätt att fråga regissören vad hen gillar i bilden, exempelvis kompositionen eller färgerna. Det är fortfarande mitt jobb att komma fram till det målet. Jag hoppas förstås att regissören också vill ha min input och inte bara förlitar sig på AI.

För Forsius handlar det om att hitta en balans mellan AI och mänsklig kreativitet. 

– Mitt intresse som filmfotograf ligger fortfarande i att studera människor och mänskligheten, både genom en fiktiv och en dokumentär lins. Jag är personligen inte intresserad av att skapa innehåll som saknar en mänsklig aspekt. Men genom den här masterclassen har jag insett att det finns bra saker som jag kan använda AI till som ett verktyg. Jag vill hellre vara med när teknologin går framåt, och försöka förstå den och implementera den i mitt arbete på ett sätt som hjälper mig och slutresultatet. Jag är hellre en del av framtiden än att fastna i det förflutna, avslutar Forsius.

Att väcka forna röster till liv genom AI

Arthur Franck (bl. a. Pesänlikaajat, 2021 och Olliver Hawk, 2019) har redan använt AI-genererade röster för att skapa ljudinslag för sin kommande dokumentär Showtime Helsinki, och han ser stora möjligheter för AI att förbättra och förnya dokumentärfilmskapande. 

– Dokumentären blir klar senare i år, avslöjar Franck. 

– Vår idé föddes i och med att det finns transkriberingar av vad högt uppsatta politiker sagt i avgörande sammanhang, nedtecknat ord för ord av stenografer. Men tyvärr saknas ljudinspelningar.

Han berättar om hur han har använt AI för att återskapa röster från kalla kriget, och har på så sätt kunnat blåsa in liv i de transkriberade talen. Användningen av AI-genererade röster har öppnat upp nya möjligheter för Franck att utforska ljudets roll i dokumentärfilm och att experimentera med hur AI kan användas för att skapa en mer immersiv och engagerande upplevelse för publiken. 

– Det har varit en spännande process, speciellt eftersom det väcker frågor om etik och dokumentärfilmens uppgift. Jag försöker hålla ett öppet sinne kring detta, även om det finns vissa gränser som inte bör överskridas, reflekterar Franck.

Masterclassen erbjuder en chans att utforska

Franck anser att masterclassen varit mycket inspirerande och lyckad. 

– Kursens största inverkan på mig har varit att sänka tröskeln för att testa nya AI-plattformar, som annars kunde kännas överväldigande. När man sitter tillsammans med likasinnade människor och löser problemen tillsammans är de lättare att närma sig.

Franck jämför det med hur det var när han först lärde sig att använda redigeringsprogram och kameror – ju mer man använder verktygen desto naturligare blir de i ens händer. 

– Det finns även en aspekt av att allt vi lär oss nu kan vara föråldrad kunskap om ett halvår, eftersom tekniken utvecklas så snabbt.

Franck värdesätter främst de nya kontakterna han knutit i samband med masterclassen och hoppas på samarbeten i framtiden. 

– De mänskliga mötena är alltid viktigast. Nu vet jag vem jag ska ringa när jag behöver hjälp, konstaterar han leende.

Det började med deepfakes

Hannaleena Hauru (bl.a. The Boy Next door, 2025 och Fucking With Nobody, 2020) mötte för första gången AI i form av deepfakes; AI-genererade videor i vilka man applicerat en persons ansikte på någon annans kropp. 

– Under Covidpandemin när vi alla hängde med vänner online brainstormade jag idéer med min kollega Samuel Kujala. Då gjorde vi demoserien Deepfake (2022) för finska Yle via Areena Stories Instagram, vilket vi nu vill utveckla till en långfilm. 

Projekt ledde till att Hauru fördjupade sig i AI och dess potentiella hot och framtida konsekvenser. Under sina studier i komparativ dramaturgi vid Goethe-universitetet fokuserade hon på vetenskap och teknologi för att förstå AI:s framtid. 

– Jag försöker ta ett brett grepp om ämnet, förklarar Hauru.

Nu på masterclassen är Hauru ivrig att testa på nya AI-plattformar. 

– Jag är verkligen glad att vi testar AI-verktyg hands-on, eftersom det är enda sättet att lära sig. Jag är tacksam för att Umberto Onza så generöst delar med sig av sin kunskap. Det är den sanna essensen av filmskola och det bästa sättet att lära sig ett nytt hantverk; genom praktiska workshoppar, lektioner och att fråga dem som har mer erfarenhet. 

I praktiken använder Hauru AI främst för att förenkla administrativa och tekniska uppgifter, vilket ger henne mer tid att fokusera på det kreativa arbetet. 

– AI är ett bra verktyg för att skapa en synopsis, lista upp manuselement och producera material för finansiärer, samproducenter och publikationer, förklarar hon.

AI kan även minska produktionskostnader, särskilt inom områden som scenografi. 

– Ju mer man lär sig, desto mer inser man att förändringen kommer att bli enorm, menar Hauru. 

Under arbetet med sin senaste långfilm insåg hon och hennes färgkorrigerare hur vissa AI-verktyg kunde ha gjort färgkorrigeringsprocessen smidigare, och de hoppas att dessa verktyg blir tillgängliga inom kort.

Den mänskliga aspekten kan aldrig ersättas 

Precis som Forsius är Hauru övertygad om att AI aldrig kan ersätta hennes roll som filmskapare. Även om hon ser stor potential i teknologin, så tvekar hon inför det som hon kallar ”co-creating” med AI. 

– AI gör redan ett fantastiskt jobb med att analysera och organisera material, och jag är glad att låta AI sköta det! Men jag föredrar ‘co-creating’ med människor, säger Hauru och hänvisar till de bias hos AI som gör det genererade materialet förutsägbart och likriktat. 

– AI kan bara bygga på mänsklighetens skriftliga och visuella minnen, men den saknar de haptiska minnena—känslan av beröring, doft och smak—som är inbyggda i vår mänskliga genetik, reflekterar Hauru. 

Dessa minnen, menar hon, är oersättliga i berättande och något som AI aldrig kommer att kunna replikera. 

– Det är spännande att tänka på hur AI kan hjälpa till att förnya filmproduktionen och skapa nya sätt att berätta historier. Men AI kan aldrig ersätta den mänskliga kreativiteten och intuitionen, som är så central för mitt arbete, avslutar hon.

Framtiden och betoning på ansvar

Masterclass-ledaren Umberto Onza betonar vikten av att använda AI på ett ansvarsfullt sätt. 

– Det finns ett mänskligt ansvar eftersom AI kan användas för både gott och ont beroende på användarens intentioner. Allt handlar om din ursprungliga avsikt, förklarar han. 

Onza reflekterar också över hur AI kan påverka framtiden för filmproduktion. 

– AI kommer att förändra hur vi arbetar och tänker på film, säger han. 

– Det är viktigt att vi hittar balansen mellan att använda AI för att förbättra vår kreativitet och att behålla den mänskliga aspekten i vårt arbete.

Ingen vet säkert hur AI kommer att påverka vår framtid eller filmbranschen. Den öppna attityden hos masterclass-deltagarna märks även på andra håll. Exempelvis håller journalistförbundet ett webbinarium i promptande i oktober. Utvecklingen innebär både möjligheter och utmaningar för filmskapare, som måste navigera mellan teknologins potential och de etiska överväganden som följer med den. Framtiden för film och AI är fortfarande under utveckling, men en sak är säker: den mänskliga kreativiteten kommer att fortsätta spela en central roll, oavsett hur sofistikerade våra verktyg blir.