Intervensjonssenteret ved Rikshospitalet, har sammen med IT-utviklere fra Sopra Steria, vunnet førsteprisen i Microsofts globale konkurranse, Health Innovation Award.
De fikk prisen, i sterk konkurranse fra prosjekter fra hele verden, for å ha utviklet en applikasjon basert på Microsofts HoloLens hvor de såkalte mixed reality-brillene kan brukes til å visualisere organer i 3D.
Datagrunnlaget kommer fra Intervensjonssenterets ulike bildedannende maskiner som CT og MR. Slike maskiner har revolusjonert måten vi ser inn i kroppen på, men resultatet blir todimensjonale bilder.
Ved å ta fatt i datagrunnlaget, som er i 3D, har utviklerne klart å gjøre det visuelt tilgjengelig i tre dimensjoner for medisinsk personell som skal planlegge operasjoner og annen behandling.
Snakket sammen
– Prosjektet begynte ved at sjefen her, Erik Fosse møtte folk fra konsulentselskapet Sopra Steria. De hadde fått tak i noen av de tidlige HoloLens-brillene fra Microsoft og ønsket å skaffe seg erfaring fra et prosjekt som kunne være både nyttig og banebrytende. Det var ikke så vanskelig for oss å identifisere det, sier seksjonsleder ved seksjon for Medisinsk Kybernetikk og Bildebehandling ved Intervensjonssenteret på Oslo Universitetssykehus, førsteamanuensis Ole Jakob Elle.
- Om vi kunne få visualisert de tredimensjonale modellene våre (3D anatomiske kart) med slike tredimensjonale briller ville det være svært nyttig når vi skal planlegge operasjoner, sier Elle.
Kastet inn i prosjektet
25 år gamle Christopher Tannum, nyutdannet sivilingeniør i datateknikk fra NTNU i fjor, gikk rett inn i prosjektet i fjor høst etter en 6 uker lang videreutdannelse på Microsoft University i Oslo.
– HoloLens var helt ny i Norge da vi begynte å arbeide i prosjektet. Ingen av oss hadde noen erfaring med denne typen programmering, så det ble naturligvis veldig mye og intens jobbing. Men vi lærte raskt, og det at vi nå har fått en internasjonal førstepris viser at vi har klart det bra, sier han.
I starten jobbet fire utviklere fra Sopra Steria med oppgaven, men Tannum var en av to som gjorde ferdig prosjektet. Eller i det minste så langt at det høstet prisen, for Intervensjonssenteret ønsker å fortsette utviklingen.
Intervensjonsenteret har fått innvilget et Innovasjonsprosjekt finansiert gjennom Helse Sør-Øst som heter «Mixed Reality 3D Visualization and Interaction for Surgery using HoloLens (HoloViz)».
- Disse midlene finansierer nå en videreføring av samarbeidet vi har hatt med Sopra Steria, sier Tannum.
Virtuell modell
Dataene som genereres av de bildedannende maskinene blir regnet om til en 3D-modell som gir det medisinske personellet en bedre innsikt i hvordan «det ser ut» inne i pasienten.
På den måten kan man planlegge operasjoner enklere enn når man må bla seg frem og tilbake i lag av todimensjonale bilder.
– Vi laget et verktøy som kan lage snitt i modellen, ikke ulikt en skalpell. Det vi ser i brillene minner nok litt om de hologrammene vi kjenner fra science fiction filmer, men disse bildene er mer presise, sier Tannum.
– Det vi har laget er først og fremst et planleggingsverktøy. Det kan brukes samtidig av flere som sammen planlegger en operasjon, enten de er radiologer, kirurger, eller andre. De vil se inn i modellen ut fra der de sitter, slik at alle får sitt perspektiv. Det er som man sitter sammen og skjærer i en 3D-printet modell, sier Tannum.
Nå skal de se hvordan de kan utvikle teknologien videre til å planlegge utskifting av hjerteklaffer i pasienter. Ved å teste ulike varianter i en 3D-modell av hjertet kan de finne den som egner seg best.
EU-prosjekt
– Vi koordinerer nå et nytt EU-prosjekt (HiPerNav - High Performance soft-tissue Navigation) der vi skal se på hele informasjonsflyten under kirurgisk navigasjon ved kikkhullskirurgi på lever, sier Elle.
Med god nok informasjon fra CT og MR kan de planlegge hvor de skal legge kuttene i for eksempel en lever når de skal operere ut en kreftsvulst.
– Vi må planlegge snittene slik at vi får ut hele svulsten, samtidig som vi fjerner minst mulig av det friske levervevet. Det at vi kan bruke slike 3D-briller gjør det enklere å planlegge operasjoner, sier Elle.
Han tror teknologien kan brukes utstrakt innen medisin, men de må konsentrere seg om der den har størst nytteeffekt i starten. I tillegg til å planlegge leveroperasjoner vil de arbeide videre med hjerter, både hos barn med medfødte hjertefeil og hos voksne som trenger nye klaffer.
Mer mixed reality
I fremtiden tror Elle den nye visualiseringsteknologien, det vil si den type mixed reality som HoloLens er et eksempel på, kan utvikles slik at den kan benyttes under selve operasjonen.
Spesielt når det er snakk om kikkehullsoperasjoner kan det være nyttig å få et større virtuelt bilde av det område i pasienten man opererer.
Utfordringen er at de trenger en modell som oppdateres mest mulig kontinuerlig under operasjonen.
– Det er ikke lett, selv om det finnes en operasjonsrobot i Canada som opererer inne i en MR-maskin. Det er også mulig å bruke ultralyd til å oppdatere modellen, eller hybride operasjonsrom der vi kan ha røntgen tilgjengelig som i hvert fall oppdaterer modellen med korte intervaller. Vi kan også legge inn biomekaniske modeller som estimerer organets bevegelser og deformasjoner, sier han.
- Nå har Norge fått sine fem første: I Sverige har 1000 av disse redusert støy og økt levetiden på skinnene
