Den 16:e augusti kl 03:00 på söndagsmorgonen bröts trafiken till våra servrar och kom inte upp igen förrän måndag morgon ca 07:25. Det är vårt längsta avbrott någonsin och naturligtvis helt oacceptabelt för oss - och för våra kunder.

På denna sida beskrivs vad som hände och vad vi gör för att undvika fel i framtiden och att avhjälpning skall gå fortare om de ändå inträffar.

Orsak

Orsaken till avbrottet var att en fiberskarv bröts i en station mellan Katrineholm och Julita. Drabbade kunder omfattade fiberkunder i Julita men inte ADSL-kunder, alltså ett litet antal uppkopplingar men som tyvärr inkluderade vår lina. Att skarven bröts kan i sin tur haft med temperaturen att göra då stationens kylanläggning var ur funktion. Temperaturen var sannolikt inte för hög just 03:00 denna regniga söndagsmorgon men den samlade temperaturpåverkan från dagarna innan kan tillsammans ha gjort att höljet på fiberskarven till slut gav upp.

Beredskap

På söndagar har Utsikt en "frivillig beredskap" och alltså varken någon egen tekniker som kan beordras påbörja felsökning (trots inkomna larm) eller möjlighet att beställa reparation av som i detta fall en brusten fiberskarv. Andra dagar, inklusive lördagar, finns beredskap, men just söndagar är ett problem som skylls på "arbetstidslagstiftning" men torde bottna i att man har få tekniker och i grunden bero på ekonomiska begränsningar.

Framtida åtgärder

Vid ett första möte om saken gicks orsaken igenom och vi framförde synpunkter på att om den trasiga kylanläggningen bytts snabbare hade felet kanske inte inträffat - och att ett temperaturlarm från stationen borde finnas (finns men togs inte på allvar?) som uppmärksammar på felsituationen. Man tittar också på möjligheterna till en höjd beredskap i samverkan med andra stadsnät under hösten. Vi tycker det verkar lovande, men skulle gärna se en snabbare lösning som säkerställer att felsökning kan påbörjas snabbare även på söndagar. För en affärskritisk applikation som både epost och webb blivit för oss och många av våra kunder klarar man sig inte utan jour även söndagar.

Vi går också vidare med att undersöka alternativa lösningar, som en reservuppkoppling exempelvis via 3G som är långsammare men iallafall kunde ge framkomlighet i händelse att fibern slås ut (en inte helt enkel sak är att få inkommande trafik att använda reservvägen vilket kräver routinglösningar som Utsikt inte erbjuder). Ett annat alternativ är naturligtvis att flytta serverhallen eller använda co-location i en större datahall vilket skulle medföra byte av operatör.

I grunden finns naturligtvis kostnadsramar både för Utsikts åtgärder och våra reservalternativ, men med den längsta nedtiden någonsin i våra tjänster som referens finns stort utrymme till förbättring!