– Ideen kom til meg på bussen. Jeg satt og så ut av vinduet og tenkte på alle de flotte fargene som fór forbi, og tenkte på at blinde ikke kan se dette. Så begynte det «å koke» i hodet, og to døgn senere hadde jeg prototypen klar, forteller Dominik Osinski, universitetslektor ved Institutt for elektrofag og fornybar energi, NTNU.
Det ble starten på Colorophone, et bærbart sensorsystem som kan hjelpe blinde med å orientere seg i hverdagen.
Fargene kodes som lyd, som brukeren tolker for å visualisere omgivelsene sine.
«Briller» for blinde
Jeg lukker øynene for å teste de nye «brillene» for blinde. Brillene er koblet til hodetelefoner som skal tolke omgivelsene for meg.
Når jeg beveger hodet fra side til side, fanger ørene opp, via hodetelefonene, lyder med forskjellig frekvens.
De ulike lydene tilsvarer forskjellige farger.
Litt etter litt, og overraskende raskt, danner jeg meg et omtrentlig indre bilde av omgivelsene.
– Hjernen er mer fleksibel enn vi trodde
Sensorisk substitusjon, som Colorophone benytter, betyr å sende informasjon til hjernen gjennom en alternativ sensorisk kanal. I dette tilfellet via ørene i stedet for øynene.
– Nye forskningsresultater innen nevrovitenskap viser at hjernen er en mer oppgaveorientert maskin enn sensorisk maskin. Hjernen er mer fleksibel enn vi trodde før. Den er på sett og vis vår «plug & play-enhet» og kan tilpasse seg til å analysere informasjon som kommer fra ulike sanser. Vi kan aktivere synssentret i hjernen, visual cortex, ved å sende visuell informasjon omkodet som lyd, forklarer Osinski.
Den største utfordringen med systemer for sensorisk substitusjon som skal kode bilder til lyd, er forskjellen i mengde informasjon som blir overført gjennom synet og hørselen. Hjernen får rundt 100 ganger mer informasjon gjennom øynene enn gjennom ørene.
– Derfor må vi kode det viktigste, og det er fargene, sier Osinski.
Colorophone-systemet koder i tillegg også avstand som tikk-lyder som forbedrer orienteringsevnen.
Fra farge til lydbølger
Dominik Osinskis metode og oppfinnelse er inspirert av det menneskelige synssystemet.
.png){kind=logo}
Prototypen i Colorophone består av et par briller med innebygd kamera, en avstandssensor, AfterShokz hodetelefoner og en prosesseringsenhet (myRIO).
Kameraet tar bilde og sender digitale RGB-verdier (farger) til prosessanlegget. De ulike RGB-verdiene blir brukt til å lage en lydbølgeform, som sendes til hodetelefonene.
Brukeren må lære seg å tolke lydfrekvensene for å kunne visualisere omgivelsene sine.
- Vår fargeoppfattelse kommer fra sammenligning av responsene til forskjellige fargefølsomme celler kalt kjegler. Vi er utstyrt med tre forskjellige kjegletyper som har høy sensitivitet knyttet til lysbølgelengdene som vi oppfatter som farger rød, grønn og blå, sier Osinski.
- Oppfinnelsen hans kan bli kjempebutikk for arbeidsgiver: Selv er han kun tilbudt 30.000 kroner
Lærte 14 farger på fem minutter
I Colorophones metode knyttes rød fargekomponent sammen med en høyfrekvent lyd, grønn fargekomponent med en midtfrekvent lyd, blå fargekomponent med en lavfrekvent lyd og hvit farge med lavmælt støy.
Kodingsmetoden er utviklet basert på en psykologisk analyse av intuitive assosiasjoner mellom farge og lyd.
Med de tre basisfargene rødt, grønt og blått (RGB), skapes andre farger i fargespekteret, og metoden gjør det mulig å representere alle mulige farger som lett gjenkjennelige lyder.
– Dette er en ny måte å oppleve farger på. Med dette systemet er vi i stand til å lytte til et stort spekter av farger, uten at brukeren trenger å lære et stort spekter av frekvenser, sier Dominik Osinski.
Da metodene og utstyret skulle testes, fikk testpersonene fem minutter opplæring. Testpersonene klarte da å identifisere 14 farger med 98,6 prosent effektivitet.
- Vil produsere i Norge: Inne i dette skallet skjuler det seg en banebrytende norsk oppfinnelse
Studenter lager ny design
Prototypen Osinski utviklet på kort tid var verken veldig brukervennlig eller så særlig kul ut.
Osinski lanserte derfor ideen om produktutvikling for sine bachelorstudenter, og et av student-teamene tente på oppgaven. I samarbeid med Norges Blindeforbund har de videreutviklet teknologien og lagd nytt design på Colorophone-utstyret.
Studentenes oppgave har vært å designe og bygge hardware-delen av systemet, og de har programmert prosesseringsenheten myRIO (Real-Time FPGA system) som forvandler lys og farge til lydbølger.
Prosjektet er nå blant de seks finalistene for Northern European Student Design Contest. Studentene har kvalifisert seg til finalen i skarp konkurranse med studentprosjekter fra 30 andre europeiske land. Vinneren kåres på NI Engineering Impact Awards event i London den 29. november.
- Denne spaghettibrua tåler en last på hele 98 kilo: Det er langt unna verdensrekorden
Blunkekontroll og mobilapp
Neste trinn blir å utvikle ny design av brillene med integrert blunkekontroll og en applikasjon som kan brukes på mobiltelefonen.
– Vi ønsker å utvikle et system som ikke bare er brukervennlig og forbedrer livskvalitet, men som sømløst integreres i brukerens hverdag. Det kan sammenliknes med lesebrillene som henger rundt halsen etter man har lest, sier Osinski.
Han håper på å skape et tverrfaglig prosjekt ved NTNU knyttet til den nye teknologien, både med tanke på design og brukervennlighet samt forskning for å forstå mer av det som skjer inne i hodet ved transformasjon av farger til lyd.
Han har allerede etablert samarbeid med psykologiforskere fra Storbritannia og Polen som har bygd opp et laboratorium for å forske på Colorophone.
– Forskningsmessig blir det veldig interessant å se om man kan forbedre kognisjon ved langtidsbruk av systemet.
- Sjøsyke havvind-teknikere er blitt et stort problem: Det skal denne båten fikse
Lett etter løsninger i over 100 år
Å omsette farger til lyd er ikke en ny tanke, men en utfordring mange forskere har brynt seg på.
Sir Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Newton definerte syv primærfarger: rød, gul, grønn, blå, indigo, oransje og fiolett.
Disse syv fargene koblet han sammen med syv noter. Problemet med denne metoden var at den bare fungerte for folk med absolutt gehør, og at metoden ikke kunne kode og gjengi nyansefarger.
– Det første elektroniske hjelpemiddelet for blinde ble utviklet allerede rundt 1898. I dag, mer enn 100 år senere, finnes det ikke et eneste anerkjent e-hjelpemiddel for blinde. Det er stor kontrast mellom utvikling av forbrukerelektronikk for folk flest – og utvikling av tilgjengelige elektroniske hjelpemidler for de med særskilte behov, understreker Dominik Osinski.
- Kollektivtransport ble revolusjonert på 1830-tallet: Med Hyperloop kan vi stå overfor noe lignende
Rimelig teknologi
Én av de løsningene som eksisterer, er øyeimplantater hvor en matrise av elektroder kobles direkte til synsnerven. En slik protese er imidlertid svært dyr og krever kirurgiske inngrep.
Med tanke på at 90 prosent av verdens blinde bor i fattige land, betyr det at svært få har tilgang på en slik løsning.
Verdens helseorganisasjon (WHO) hadde i 2014 et estimat på 285 millioner synshemmede mennesker i verden. Av disse er mer enn 39 millioner blinde, og mange av dem lever i fattige land.
– Vi håper at Colorophone-prosjektet vil bidra i utviklingen av en rimelig teknologi, som vil være tilgjengelig og overkommelig for mange, også for mennesker i fattige land, sier Sindre Bjørvik – en av studentene i Colorophone-teamet.
- Studentene utviklet verdens minste kappe- og sløyemaskin: Nå kommer henvendelsene fra hele verden
