Når en pasient svelger en kamerapille for å undersøke hele fordøyelsessystemet, tar det fra fire til 12 timer før den kommer ut igjen. Deretter skal en lege eller sykepleier gå gjennom videoen for å oppdage forandringer i tarmen. Du kan tenke deg selv hvor mye av innholdet du potensielt mister om du skal spole deg gjennom en hel spillefilm, og det blir ikke enklere om det du skal få med deg er knøttsmå unormalheter i et ellers nokså monotont bilde av ferden gjennom tarmen. Men i motsetning til å misse poenger i spillefilmen, kan konsekvensene av å ikke få med seg alt i et slikt medisinsk bilde bli fatale, fordi en oversett polypp kan utvikle seg til en kreftsvulst.
Det var denne problematikken som for seks år siden fikk en forskningsgruppe ved Simula i samarbeid med forskere på Universitetet i Tromsø til å tenke at kanskje deres kunnskap om lagring, levering og prosessering av video kunne brukes til å identifisere unormalheter i bildene automatisk ved hjelp av datakraft, systemtenkning og maskinlæring. Forskningen har vært ledet fra Simula, og nå fra SimulaMet, hvor det ved forskningsgruppen HOST er flere forskere og studenter som jobber med relevante problemstillinger, i tett samarbeid med informatikere i Tromsø og medisinere fra Bærum sykehus og Oslo Universitetssykehus.
Nå mener de å ha funnet en teknisk løsning som kan bli en fullverdig, digital assistent for legene både i analyse av pillekamera-filmer, og i live-undersøkelser med vanlig endoskopi.
– Med datasettene vi har i dag, har vi resultater på godt over 90 prosent i treffrate. Det er på høyde med hva de beste ekspertene klarer å oppdage, så det synes vi er veldig bra, sier prosjektleder ved SimulaMet, professor Pål Halvorsen.
Nevrale nettverk
Det finnes flere kjørende prototyper ved Simulas hovedkvarter på Fornebu. Disse mates med bilder og videoer fra faktiske endoskopi- og pillekamera-undersøkelser utført blant annet ved Vestre Viken HF, i hovedsak Bærum sykehus.
– Vi har brukt disse dataene til å trene opp maskinlæringsmodellene. I maskinlæring er man avhengig av gode og relevante data for å få gode resultater. Vi har også gjort simulerte undersøkelsessituasjoner for å være sikre på at modellen detekterer raskt nok til å kunne vise uregelmessigheter direkte, sier Halvorsen.
De har testet mange ulike maskinlæringsmodeller, både basert på nevrale nettverk og mer håndlagde algoritmer som gjenkjenner fargenyanser, former også videre. Prototypene kjører nå med et nevralt nett basert på eksisterende modeller, men hvor modellen trenes på nytt med nye data så ofte som mulig. Det har vist seg både å være raskest og gi best deteksjonsrate.
Nå kan vi prosessere over 300 bilder i sekundet. Det betyr at legen kan få beskjed innenfor et par millisekunder under en endoskopi-undersøkelse dersom det er noe han må se nærmere på.
Prosjektleder og professor Pål Halvorsen, SimulaMet
– Nå kan vi prosessere over 300 bilder i sekundet. Det betyr at legen kan få beskjed innenfor et par millisekunder under en endoskopi-undersøkelse dersom det er noe han må se nærmere på, og at vi kan analysere en flere-timers video fra et pillekamera på bare noen minutter, sier Halvorsen.
Når maskinlæringsmodellen oppdager for eksempel en polypp, dukker det opp en bred, rød ramme rundt hele skjermen. Samtidig viser grafer i bunnen sannsynligheten for at det er en polypp, og hvordan funnet klassifiseres. Sistnevnte funksjon viser foreløpig bare verdien 0 om det er en falsk positiv, og 1 om det er en polypp, men på sikt håper de å kunne bruke denne klassifiseringen til å gjøre en foreløpig vurdering av funnenes alvorlighetsgrad. Er det en polypp kan den for eksempel få et tall fra 1 til 4 basert på størrelse, og oppdages en tarmbetennelse kan alvorlighetsgraden klassifiseres fra 1 til 4 basert på hvor rød slimhinnen er i det betente området. I dag gjøres slike vurderinger subjektivt av hver enkelt lege, og det varierer stort både mellom enkeltleger, sykehus og land, noe som igjen påvirker hvilken behandling som igangsettes på pasienten.
Store tidsbesparelser
Professor Pål Halvorsen understreker at systemet de har utviklet ikke er ment for å erstatte legene.
– Det vi ser for oss er at dette skal være en digital assistent som hjelper deg med å finne ting. Systemet markerer hvor i bildet algoritmene har reagert, gir en sannsynlighet for hva funnet er, og kan kanskje på sikt gi et hint om en diagnose. Til syvende og sist er det likevel legen som må se nærmere på funnene og gjøre de endelige medisinske vurderingene, sier han.
Dette systemet kan bli til god hjelp, og gjøre undersøkelsene mer effektive samtidig som kvaliteten løftes.
Førsteamanuensis dr.med. Thomas de Lange, Oslo Universitetssykehus
Førsteamanuensis ved UiO, dr.med. i gastroenterologi og leder ved Helse Sør-Østs utdanningssenter for leger i spesialisering ved Oslo Universitetssykehus, Thomas de Lange, har vært involvert i prosjektet som medisinsk ekspert de siste fem årene. Han mener teknologien har stort potensial.
– Den store gevinsten her er at teknologien oppdager ting automatisk. Ved vanlig endoskopi vet vi at en del uregelmessigheter blir oversett, slik at forandringer som etter hvert blir alvorlige ikke blir oppdaget. Her kan dette systemet bli til god hjelp, og gjøre undersøkelsene mer effektive samtidig som kvaliteten løftes og uønsket variasjon mellom leger elimineres, sier de Lange, som er klar for å teste systemet i klinikken så snart kliniske tester og CE-godkjenning er på plass.
Han synes særlig muligheten systemet kan gi for å automatisere journal-epikriser er unik. Dette er fortsatt bare på forskningsstadiet, men målet er at systemet på sikt skal vise legen alle bilder det har reagert på i et eget vindu. Legen kan gå gjennom dem som i et fotoalbum, dra de han mener er relevante inn i journalen, og så følger det med en ferdig-generert tekst-streng basert på standarder som forklarer hvorfor systemet mener det er for eksempel en polypp den har funnet, nøyaktig hvor den er plassert og hvor stor den er. Det skal gjøre journalføringen enklere for legen, og kan gi mer standardiserte og komplette journaler generelt.
– Det mener jeg er det største fortrinnet dette systemet har. Får vi alt dette til å fungere, vil legene spare enormt mye tid, sier de Lange.
Pål Halvorsen sier de har vist at det er mulig å få til og de har kjørende prototyper, men at de trenger mer forskning på denne funksjonaliteten før de kobler den sammen med videodeteksjonssystemet.
Et kappløp med tiden
De som rapporterer prosesseringstid rapporterer hastigheter langt unna sanntid, og da er de ikke i nærheten av å kunne bruke det «live»
Pål Halvorsen, prosjektleder
Simula er ikke alene om å utvikle teknologi på dette feltet. Internasjonalt er det flere som jobber med detektering av polypper.
– Det er flere som detekterer polypper på samme måte, og flere har rapportert like god deteksjonsrate. Men jeg har ikke sett noen som prosesserer bildene like raskt som oss. De som rapporterer prosesseringstid rapporterer hastigheter langt unna sanntid, og da er de ikke i nærheten av å kunne bruke det «live», sier Halvorsen.
.jpg)
Han sier at de fleste forskningsresultater som er publisert kun går på algoritmer og modeller for detektering, og ikke har samme systemfokus fra dem. De ser på helheten fra videorammene hentes ut fra det medisinske utstyret og til legen får tilbakemelding. Likevel er han sikker på at flere av de store fabrikantene av medisinsk utstyr jobber med tilsvarende løsninger, selv om de ikke snakker høyt om det.
– Selv om ingen produkter er lansert ennå, er dette et kappløp med tiden! Vi føler vi er klare til lansering teknisk, men vi må bare få alle tillatelsene som trengs før utstyret kan brukes først. Det håper jeg vi får snart. Det hadde vært veldig kult, sier Halvorsen.
Ut fra forskningsaktiviteten deres er det nå spunnet ut et oppstartsfirma, Augere Medical, hvor de håper å snart kunne tilby løsningen.
