![Professor Øyvind Brandtsegg ved NTNU med roboten [self.] som behandler lyd og bilder etter biologiske modeller. Foto: Mari Wedø, NRK](https://images.gfx.no/1000x/1616/1616570/original.jpg)
NTNU-roboten har fått navnet [self.] og er utviklet av de to forskerne professor Øyvind Brandtsegg og førstelektor Axel Tidemann. Brandtsegg er tilknyttet Institutt for musikk, mens Tidemann arbeider ved Institutt for datateknikk og informasjonsvitenskap.
Roboten er langt på vei laget etter en modell av den menneskelige organisme. Den har med hensikt fått svært lite forhåndskunnskap, og den skal kunne lære omtrent som et lite barn. Roboten er utstyrt med både «syn» og «hørsel», laget etter biologiske modeller.
Roboten bruker et kamera for å hente inn bilde og en mikrofon for lyden. Behandlingen av disse sensoriske signalene skjer etter biologiske modeller. Den analyserer lyden gjennom en modell av det menneskelige øre, og den lærer å gjenkjenne levende bilder gjennom en modell av hvordan nerveceller i hjernen behandler sensoriske inntrykk. Den kan motta lyder fra en person som snakker og knytte ordene og lydene til videoen den tar opp av personen som snakker.
– På denne måten lager den assosiasjoner mellom lyd- og bildeinntrykk. Gjennom ansiktsgjenkjenning lager den også koblinger mellom de ulike ordene den lærer og hvem den har lært hvert ord fra, forklarer Brandtsegg.
Prosesserer om natten
Roboten har evnen til å «drømme». Med det mener forskerne den prosesseringen som helst foregår om natten og som innebærer at roboten gjennomgår og bearbeider inntrykk den har mottatt gjennom dagen. Brandtsegg forklarer at den i denne tilstanden eksempelvis rydder opp i kategorisering av ord og lyder den har lært. Om den har hørt et ord sagt på en bestemt måte mange ganger og på en annen måte få ganger, konsolideres denne ordkategorien med de ordene den har hørt oftest, lite brukte varianter av ordet fjernes eller legges over i en egen kategori.
I den daglige interaksjonen med mennesker lærer roboten å kombinere lyder og bilder på mer og mer avansert vis, forteller han.
Brandtsegg forklarer at den lager assosiasjoner mellom ord den har opplevd i samme kontekst, det vil si ord den har hørt i samme setning, ord den har lært av samme person, ord som ligner og låter likt, og så videre. Roboten bruker disse assosiasjonene til å sette sammen egne setninger. Robotens uttrykk eller setninger spilles av som lyd og video. Både lyd og bilde er transformert gjennom robotens behandling av inntrykkene.
Bildene er dynamisk generert av nevrale nettverk som drives av lyden, og klarheten i bildene påvirkes derfor rent konkret av hvor godt [self.] husker lyden.
Kunstig intelligens
Brandtsegg forteller at arbeidet begynte som et kunstprosjekt, initiert av ham selv. Poenget var å undersøke dagens bruk av kunstig intelligens, hva det har å si for oss i dag og i vår nære framtid.
– Ideen om en selvbevisst kunstig intelligens sies, ifølge blant andre Ray Kurzweil, å kunne være innen rekkevidde i vår levetid, sier NTNU-professoren.
Kunstprosjektet ville derfor undersøke hva som konstituerer et selv, om det lar seg gjøre å lage modeller av noen deler av en bevissthet, og hvordan denne intelligensen ville interagere med omverdenen. Etter mange uker i utstillingslokalet har roboten interagert med et stort antall mennesker. Robotens visuelle og lydlige uttrykk gjenspeiler hvem den har lært de forskjellige begrepene av, og gjennom denne collage-lignende formen viser den tydelige spor av sin egen læringsprosess.
I tiden fremover vil Brandtsegg og Tidemann arbeide videre med de ulike prosessene i intelligensen. I sin nåværende form kan den bare operere med begreper som hele ord. En finere oppdeling av inntrykkene er nødvendig for å la den få evnen til å behandle begrepene mer fleksibelt, slik at den blant annet kan håndtere kontekstavhengige variasjoner og bøying av samme ord. Samtidig trenger de å utvikle høyere nivåer av kognisjon, slik at roboten kan utvikle seg selv på bakgrunn av det den har lært.
