Ut av det blå en steike fin mai-dag ringer telefonen til kollega Eirik Urke.
– Halla, det er Kristopher Schau, sier stemmen i den andre enden.
.. og vi i vår ende så omtrent slik ut: 
Noen minutter senere begynte vi å skjønne hva som var i ferd med å skje. Kristopher hadde lyst på en ny musikkvideo for bandet sitt The Dogs og låta As I Hurt Us, og hadde fått sansen for VR. Han ville at vi skulle produsere den. Vi er tross alt midt i VR-prosjektet vårt, og det hadde han fått med seg.
Det tok oss ikke lang tid å svare, av flere grunner; det ville være produksjonsteknisk krevende, som egentlig er omtrent 22 grunner bakt sammen i én, samtidig som vi fikk bryne oss på et veldig spennende format.
Dette er historien om hvordan vi gjorde det. Bakomfilmen og tekst følger under – sluttresultatet ser du i bunn av denne saken!
Det første møtet
Fra overflaten kan det kanskje virke håndterlig å produsere en film i VR. Du trenger en story, utstyr, og etterarbeid. Men hvert eneste av disse punktene er diamentralt forskjellig fra hvordan man produserer en vanlig, vanlig «flat» video.
For alt du har lært og sett når det kommer til produksjon av flate filmer, går bare ikke i VR. Lys, kamerarigger og crew kan ikke være på settet fordi det blir synlig – kameraet fanger alt rundt seg, 360 grader rundt, opp og ned. Historiefortellingen må ta høyde for hvordan brukeren snur seg, og etterarbeidet er et massivt fjell av programmer, teknikker og eksperimenter.
Kristopher er skarp som få; det tok ikke mange minuttene forklaring fra vår side før han forstod hvordan du må tenke når du filmer i VR.
Vi skal aldri lage en video i VR for VR sin skyld. Ikke denne gangen heller. Det skulle gi en merverdi, være en bærer for opplevelsen.
Allerede under det første møtet begynte vi å spy ut ideer sammen, og landet raskt på at vi først av alt måtte sikre oss en egnet lokasjon.
Nettverket til Kristopher er ikke akkurat lite, så noen minutter senere var kulturkirken Jakob booket.
To uker frem i tid
TO.
FUCKINGS.
.png){kind=logo}
UKER.
Panikken spredde seg i øya til Eirik og meg selv, mens Kristopher gliste der vi satt på Waynes og dytta i oss en tørr kanelsnurre til frokost. Datoen ble møysommelig notert ned i Kristopher lille almanakk, så da ble det slik.
VR-riggen
Tidlig i prosessen kom ideen opp om å gjøre et enkelt, forhåpentligvis virkningsfullt grep: hele filmen skulle være ett sammenhengende klipp der kameraet heises opp i luften. 18 meter opp faktisk, inne i kulturkirken.
Igjen ville det by på sin egen serie av utfordringer, for det krevde at vi måtte bygge en usynlig kamerarigg som kunne heise et VR-kamera så høyt opp. Som sagt, et VR-kamera fanger alt – også kamerariggen – så denne måtte bli usynlig på et vis.
Etter å ha konsultert noen kollegaer med ingeniør-bakgrunn falt vi på en brukbar løsning; kameraet ville bli heiset opp via et trinsesystem festet i en trosse i taket, med så tynne tau at disse ikke ville synes. Selve trinsene ville vi kamuflere blant lysriggene som allerede hang i taket.
En tur i båtavdelingen på Biltema skaffet oss både trinser og tau. Kameraet skulle henge midt i rommet, mens det ble dratt opp av to tau i en V-form. Teorien var at denne V-formen ville minimere de bevegelsene vi ikke ønsket; hindre at kameraet begynte å rotere, noe som ville vært et kaos uten sidestykke å rette opp, eller at det begynte å svinge på noen andre akser enn oppover(Z-aksen).
For å heise kameraet falt vi på at det var best at jeg rett og slett dro i tauet. En dedikert motor droppet vi fordi vi ikke klarte å oppdrive en god nok og fleksibel nok løsning i tide.
I stedet tilbrakte jeg heller to kvelder på kontoret for å øve. I flere timer stod jeg som en tomsing midt i det åpne landskapet og trakk i et tau til jeg fant bevegelsene som ga best stabilitet i forhold til tempoet i sangen.
For som tidligere nevnt; under innspillingen kunne jeg aldri stå et sted hvor jeg faktisk så kameraet, slik at jeg kunne følge med om jeg dro tauet riktig. Ser jeg kameraet vil det også se meg, så hver eneste kamerabevegelse måtte skje etter hukommelsen.
Selve VR-kameraet var strengt tatt fire kameraer. Vi bruker spesialbygde GoPro Hero 4, der objektivet er byttet ut med en spesialløsning som gir hvert kamera et synsfelt på 194 grader. Med fire kameraer rygg mot rygg gir det oss masse overlapp som kommer godt med senere i prosessen. Oppløsningen er satt til 2,7k, og FPS til 60.
Når du filmer på denne måten i VR har imidlertid batteriet i kameraene en uvane med å overopphetes ganske raskt. Den beste måten å unngå det er at kameraene trekker strøm fra en ekstern batteripakke, ikke det interne batteriet. Nødladere ble derfor kjøpt inn og ganske enkelt tapet fast til kameraløsningen vår.
De ekstra batteriene hadde også den fordelen at de gjorde selve kameraet vesentlig tyngre. Det kommer godt med, da mer vekt generelt sett ville være med på å stabilisere trinsesystemet vårt.
Innspillingsdagen
To uker med planlegging flydde forbi, og vipps var klokken 13:00 på innspillingsdagen – tidspunktet da vi først fikk komme inn i kulturkirken. Vi begynte å rigge, noe som gikk overraskende smertefritt for seg. Trosser ble heist ned for å festet kamerariggen, lys ble justert og instrumentene plassert ut.
14:30 var alt rigget klart, og vi gjorde et prøveopptak. Bandet spilte, og det hele gikk som smurt. Trinsesystemet fungerte, alle kameraene kjørte og det hele virket veldig lovende.
Det tar imidlertid en drøy time å sjekke at et VR-opptak faktisk ble som tiltenkt, fordi videofilene fra de fire kameraene må sys sammen og rendres ut før du får sett hvordan det faktisk blir.
Mens Eirik Urke og jeg jobbet med prøveopptaket, stakk bandet ut og kjøpte noen pils og en matbit. Prøveopptaket ble godkjent av oss alle, før vi 17:30 var klare til dyst. Da måtte Kristopher så klart si det du aldri skal si:
- Faen a gutta, jeg lurer på når problemene skal begynne å dukke opp jeg, dette går jo som smurt!
Ti minutter senere er alle klare for det første, skikkelige opptaket. Bandet har byttet klær og står klare ved instrumentene. Kristopher gamle iPod Classsic - ja, du leste rett – ble brukt til å spille av låten av kulturkirkens PA-anlegg, og vi trykket «record» på kameraene.
Kun ett av fire kameraer lystret. De tre andre fremstod som stein døde.
Etter gjentatte forsøk på fjernopplivning heiser vi ned kamerariggen fra taket, og begynner feilsøkingen vi overhode ikke har tid til. Om bare to timer må vi være helt ute av kirka.
Kristopher ligger avslappet på scenegulvet. «Dette skjer alltid gutta, det er umulig å lage noe uten at det går skeis underveis. Null stress».
Minuttene går, før vi fatter problemet. Kameraene har vært aktive i pausen, og blitt overopphetet. Det kostet oss dyrebar tid, men et raskt batteribytte og mye ducttape senere var vi klare til å starte en serie av opptak. Gang etter gang spilte bandet gjennom låta, mens vi heiste kameraet opp og ned. Opptaket skulle være sammenhengende, så alt måtte sitte, i ett komplett opptak.
Åtte opptak senere var klokka 19:40. Vi var temmelig sikre på at vi hadde det vi trengte, men vi hadde ikke tid til å sjekke at opptakene ble akkurat som tiltenkt. Som med prøveopptaket ville det ta mange timer. Vi pakket sammen alt i hui og hast, og var ute av lokalet hele 10 sekunder før tiden.
Postproduksjon
Når du lager en VR-film er selve opptaksdagen den enkleste biten. Det er planleggingen i forkant og postproduksjonen i etterkant som er krevende.
Med råopptaket fra fire GoProer som har kjørt åtte runder i hånd, startet postproduksjonen: De fire videostrømmene må sys sammen til ett bilde, før det kan stabiliseres, fargekorrigeres, små spor av kamerariggen fjernes, lydsporet legges til, plakater tilpasses og metadata injiseres før det hele kan klippes sammen til én ferdig videofil.
Vi tar for oss hovedpunktene av prosessen her:
Stitching
Dette er jobben med å sy de fire videofilene fra hvert av de fire GoPro-kameraene til ett stort, bredt bilde, med hjelp av programmet Autopano Video Pro.
Du husker kanskje at vi nevnte to viktige ting med kameraene; spesialobjektivet har en synsbredde på 194 grader, og vi filmet i 60 FPS. Den vide synsbredden gjør at vi har et ganske stort mulighetsrom mellom de fire kameraene, der vi kan velge akkurat hvor skjøten skal gå. Vi endte opp med å lage tre forskjellige sett med skjøter, som vi veksler mellom i filmen slik at alle bandmedlemmene er synlig uansett hvordan de rører på seg, i forhold til hvor høyt kamera hang akkurat da. Tre versjoner av den samme filmen, altså.
At vi filmet med 60 FPS er sentralt fordi det lar oss synkronisere bildet fra de fire kameraene betydelig mer nøyaktig enn ved en lavere FPS. Selv ved 30 FPS er hver frame såpass lang at du kan se at det ene kameraet går foran det andre, noe som skaper en hel serie artefakter vi ikke ønsker. Ved 60 FPS, og gjerne høyere, er denne forskjellen så liten at det ikke synes i nevneverdig grad.
Vi har laget oss en produksjonsflyt der vi ikke taper noe kvalitet underveis. Det første punktet materialet skal rendres, og kvaliteten minkes, er når vi rendrer ut den endelige videofila. Dette betyr at når vi eksporterer ut den sammensydde videofila, gjør vi det som en serie av TIFF-bilder. Hver eneste frame lagres altså som et tapsfritt stillbilde. Med kameraer som kjørte i 60 FPS og et videoklipp på rundt 250 sekunder, betyr det rundt 15 000 bilder. Som hver var tett opptil hundre megabyte store. Råmaterialet ble uansett på en hel terabyte, og det krever sitt av maskina vi redigerer dette på. En kraftig Mac Pro med en ekstern LaCie-SSD koblet til ble arbeidsjernet vårt for den videre prosessen.
Stabilisering
På dette punktet har vi en flat 2D-versjon av VR-filmen foran oss. Skal du jobbe med VR er det etter vår mening Adobe-pakka som gjelder for den videre prosessen, i form av After Effects og Premiere Pro, med Mettle Skybox som tilleggsverktøy til de begge. Denne kombinasjonen av programvare har gitt oss de største og beste mulighetene til å redigere VR.
Siden vi hadde heist kamera oppover i to tråder trukket av et menneske, var det noe risting i klippene. Dette måtte stabiliseres, noe som er et stykke møysommelig arbeid som kan kjede livet av de fleste. For du kan ikke stabilisere på samme måte som du gjør med flat film; der du i bunn og grunn cropper bildet, og flytter utsnittet ditt innad i rammen basert på rystelsene. I VR kan du ikke croppe, fordi bildet dekker hele synsfeltet i alle retninger. Da ville det blitt sorte hull enkelte steder, men det du kan gjøre er å minipulere kameraet posisjon og vinkler.
For å forstå stabiliseringsprosessen er det egentlig mye bedre om du ser denne guiden enn at vi forklarer deg det. Vi fulgte den til punkt og prikke, som ga et godt resultat. Prosessen innebærer at du sporer et fast punkt i filmen, og så justerer tilt og roll på kameraet for å motvirke rystelsene i bildet. Enkelte steder i filmen hadde vi litt vanskelig for å spore en fast piksel, så da tok vi i bruk Mocha AE – som er innebygget i After Effect – for selve sporingsjobben. Mocha sporer et mønster, ikke en piksel. Det krever mye mer av maskinen din, men gir en mye bedre sporing som også får med seg skalering, ikke bare posisjon.
Som nevnt består filmen vår på dette tidspunktet av 15 000 stillbilder. Vi måtte gjøre stabiliseringsgrep på omtrent halvparten av disse, ved å sette keyframes, justere posisjon på X- og Y-aksen, samt kameraets roll og tilt. Utvilsomt en enorm jobb, men det er verd det.
Generell After Effects/SkyBox-moro
Etter at klippene var stabilisert, brukte vi After Effects med tillegget SkyBox for å legge på alle ekstra grafiske elementer. I dette tilfellet betydde det startplakat, sluttplakat, og at vi skyggelegger gulvet i kulturkirken de første sekundene av filmen.
Når du legger på slike elementer i en VR-video må du nemlig justere en hel serie av kameravinklene slik at disse flate bildene oppleves som at de ligger på riktig sted. Gjør du ikke dette vil for eksempel flat tekst krumme ut av bildet på en unaturlig måte. SkyBox er redningen, og lar deg vri på objektene med et par enkle trykk.
For å gjøre all generell fjerning og rettelse av mindre skavanker i bildet, som ujevne skjøter, brukte vi masker og «Puppet tool» i After Effects, sammen med SkyBox som lar oss brette ut bildet i forskjellige vinkler for å lettere finne sporingspunkter.
Klipping
Med videoklippene stabilisert, grafikk lagt på og de verste skavankene fjernet, importeres After Effects-prosjektet inn i Premiere Pro. Her starter det som egentlig er en helt vanlig klippe-prosess. På dette punktet er det ikke mer komplisert å klippe en VR-video enn det er å klippe en vanlig, flat video.
Om du kikker en gang til på bildet under punktet om «stitching», så nevnte vi at venstre og høyre ytterkant av bildet passer perfekt sammen når det brettes rundt til en VR-film. At de to punktene som er lengst fra hverandre i en film egentlig ligger kliss inntil hverandre er imidlertid noe Premiere ikke akkurat klarer å ta høyde for, og noe vi må tenke på når vi klipper og jobber videre med filmen.
Det betyr at du ikke kan bruke en serie effekter som normalt, for eksempel å skarpe opp bildet eller kryssende dissolve-overganger. Disse effektene tar en prøve av tilstøtende piksler, som til syvende og sist gjør at denne skjøten av bildet i sluttproduktet blir wonky – se bilde over.
Filmen fikk deretter en liten dose fargekorrigering og oppskarpning, før vi klippet sammen filmen med lydporet på vanlig vis. Når filmen skulle rendres ut, passet vi samtidig på at VR-metadata ble injisert, noe Premiere Pro nå støtter, slik at VR-spillere som YouTube og Facebook skjønner at dette er en VR-film.
Avsluttende tanker
Resultatet av hele denne balletten ser dere under.
Jobben med å produsere en VR-video er noe som i dag fortsatt tar veldig mye tid, mye takket være nivået på programvaren som er tilgjengelig i dag. Ting tar rett og slett veldig mye tid, selv om det også er et veldig morsomt format å jobbe med.
Alle programmene vi er innom er egentlig enten laget for flat, vanlig video eller 360-stillbilder. Det er bare takket være tillegg at det er mulig å redigere VR-film, noe som gjør at selve postproduksjonen ikke har like god flyt som den har for vanlig film.
Forhåpentligvis blir VR-video om ikke veldig lang tid like enkelt å redigere som vanlig video er i dag.
For akkurat produksjonen av denne filmen er det så klart en hel del ting vi i ettertid ser vi gjerne skulle gjort annerledes. Som å blende ut mer av dagslyset som slår inn i kulturkirken, og gjør bildet noe flatere enn det trengte å være.
Hele prosessen var i alle fall ekstremt lærerik. Det var aldri et mål om at denne filmen skulle presenteres direkte til TUs publikum på samme måte som vi dekker oljerigger og fly, men som et læringsprosjekt. Vi håper denne bloggposten var lærerikt for dere også. Når vi nå utover høsten lager enda flere VR-filmer, skal vi fortsette å dele erfaringene våre med dere.
