Basefarm har tydeligvis sansen for dramatikk i hverdagen. «War room» kalles ett av rommene der teknologene jobbet hardt for å løse Altinn-mysteriet i forrige uke. Et annet er skiltet «Incident».
Les også: Altinn-feilen er funnet
Full beredskap
Selskapet har ansvaret for infrastruktur og dermed driften av Altinn, som blant annet sørger for at du kan sjekke og levere selvangivelsen på nettet.
– Vi hadde full beredskap fra samme natt som selvangivelsen ble lagt ut natt til 20. mars, så vi var klare til å gripe inn da det først oppsto problemer ut på ettermiddagen, forklarer Thomas Klokkerhaug.
Han hadde ansvaret for prosessen rundt selvangivelsen og ble automatisk operasjonsleder da ting gikk galt.
Les også om Altinn-rapporten som ble hemmeligholdt inntil Teknisk Ukeblad kunne avsløre innholdet.
Kjapt resymé:
Tirsdag 20. mars litt etter kl. 16 svikter serverne. Alle fire tilgangsstyringssystemer, Open SSO, jobber med å rydde i minne samtidig, slik at det ikke er ressurser igjen til å ta seg av pålogging av skatteytere.
Systemet må tas ned for en opprydding og er snart i gang, igjen.
Men snart viser det seg at folk ikke kommer inn på egen side, men får se informasjon om Kenneth.
Personvernreglene er brutt, og Altinn må stenges inntil feilen er funnet.
Det skulle ta 64 timer.
Les mer: Altinn-trøbbel med kritisk komponent
Tastaturet
– Det var her ved denne arbeidsstasjonen en av våre teknologer tastet kommandoen for å stenge Altinn, sier Klokkerhaug, til daglig avdelingsleder for service management.
På pressens oppfordring setter han seg ved den aktuelle plassen rett innenfor døren.
Åpenhet
Sammen med sin sjef administrerende direktør Bjart Kvarme tar han noen få journalister med på en runde i selskapets lokaler i Nydalen for å tegne og fortelle om hva som skjedde innenfor dørene under de dramatiske dagene sist uke.
– Vi satser på åpenhet i denne saken, heter det i invitasjonen fra det norske selskapet. Makkeren er Accenture, som har utviklet Altinn. Derfra har man ikke hørt noe etter at støvet har lagt seg.
Les også: Ekspertene må ha eksperthjelp til Altinn
Alarmen gikk
– Hvordan oppdaget dere at noe var galt?
– Ved at overvåkingen vår ikke fikk respons som den skulle da feilen inntraff. Overvåkingen simulerte innlogging og lesing av skjema, og hvis den oppdager uregelmessigheter eller tregheter, så går alarmen, forklarer Kvarme. Fra feilen inntraff til løsningen ble stengt gikk det 17 minutter. Da var klokken blitt 18.34.
Gruppearbeid
Basefarm var vertskap for med-leverandør Accenture og kunde Altinn den kvelden.
Ifølge verten ble det på kort tid etablert ulike arbeidsgrupper for å finne feilen.
– Teknologene hadde ulike teorier, og de samlet seg gruppevis rundt disse, sier operasjonsleder Klokkerhaug.
Les også: It-leverandøren taus om Altinn
Dugnad
Selv koordinerte han det hele, inkludert hyppige møter på video med kundens hovedkontor i Brønnøysund.
– Det hele var preget av solid innsats og real dugnadsstemning fra alle parter. Ikke så mye colaflasker og pizza-esker, men rikelig tilgang på rundstykker, nøtter ogfersk frukt, illustrerer han.
Ukjent vert
Men Kvarme legger ikke skjul på at man snakker brukbar overtidsbetaling.
– Hvem tar regningen for de ekstra kostnadene som har påløpt disse dagene?
– Det har vi ikke tenkt på ennå.
– Er det uenighet om økonomien?
– Jeg tror ikke det. Det har ikke vært det frem til nå, svarer Basefarm-sjefen.
Alvorlig amerikaner
Allerede tirsdag kveld 20. mars ble teorien om en feil i lastbalanseringen styrket.
Den er levert av amerikanske F5 og kalles Big IP – et velkjent verktøy over hele verden. I dette tilfelle var det snakk om feil i en modul som brukes til å øke ytelsen ved å cache - lagre - sider som skal vises til alle brukere. I stedet ble skatteyter Kenneths meldingsboks lagret.
– F5 tok denne saken svært alvorlig og hadde folk på plass hos oss før midnatt tirsdag, sier Klokkerhaug.
192 ville se på Kenneth
Alle brukere etter Kenneth fikk frem hans side når de trykket «logg inn»-knappen.
Ifølge Basefarm ble det gjort 192 forsøk på å klikke seg inn på Kenneths selvangivelse, men ingen klarte det.
Årsaken er at brukerne ikke var innlogget, og da blokkerte systemet disse forsøkene.
TU MENER: Alt UTE for Altinn
Fikser fix
Løsningen ble i første omgang å skru av cachefunksjonen.
– F5 klarte i første omgang ikke å gjenskape feilen i sitt laboratorium i USA. Men det fikk de til natt til fredag før oppstart og er nå i gang med å lage en såkalt fix til dette problemet, forklarer Kvarme.
Ukjent
F5 har i sitt bidrag til en foreløpig rapport om saken meldt at de ikke har funnet en slik feil noen gang tidligere.
Maskinvare fungerer
Konklusjonen i denne vårens Altinn-svikt er programvareproblemer. På hardwaresiden lyste ingen varsellamper.
– Belastningen på prosessorene på en vanlig dag er under 10 prosent, så her er det mye å gå på, sier Klokkerhaug om CPU-belastningen.
Her er Altinn
Ledelsen tar det lille pressefølget med til et annet dalføre i hovedstaden: Ett av de to datasentrene som huser Altinn-serverne.
Av hensyn til sikkerheten lover vi ikke å røpe hvor de kritiske maskinene holder hus.
I reneste klassisk etterretningsstil tas vi med innenfor dørene i et anonymt bygg som er skiltet med en helt annen type virksomhet.
Les også: Startet Altinn før løsningen var ferdig
Dobbelt av alt
Ingen heis 20 etasjer rett ned, men i alle fall noen trappetrinn: Her finner vi 2000 servere fordelt på 530 kvadratmeter i to haller.
Dobbel, men separat fiberlinje til bygget. Solid høyspent strømforsyning, en batteribank av dimensjoner og to 16-sylindrete dieselaggregater.
Redundans kalles dette.
Site manager Ketil Elgetun (med yrkesforpliktende hestehale) mangler ikke argumenter for avbruddsfri drift av maskinpark og isvannkjølingen på taket.
To små skap
– Her er selve Altinn, røper han på omvisningen og stopper ved to skap i en av hallene. Norges mest omtalte milliardprosjekt tar ikke mer plass enn et par serverskap. En kopi finnes i det andre datasenteret i Oslo.
– Vi opererer med såkalt aktiv-aktiv siter, der begge produserer, men kan klare seg alene hvis den andre går ned, sier Bjart Kvarme.
Symbolsk nok lyser en klar og rød F5-logo gjennom gitterdøren.
Pusteproblemer
– Hva er status for Altinn nå?
– Maskinelt er det ikke kapasitetsproblemer. Selve løsningen fungerer greit 364 dager i året. 365, nå som det er skuddår. Men Altinn får pusteproblemer med trafikktopper under selvangivelsen, svarer Basefarmsjefen.
Men det er utsikter til bedring.
Ny plattform
I dag kjøres flere tjenester på forrige generasjon Altinn, og det er kjent fra starten av at integrasjon mellom gammel og ny plattform har vært problemfylt.
– Neste år er det planer om å flytte selvangivelsene over på nye Altinn II. Det skal gjøre løsningen enklere, mener Bjart Kvarme.
