Elisa kertoi syyn perjantain suurhäikkään

Kirjoitin perjantaina spekulaatiotani Elisan massiivisen verkkohäiriön syistä. Tänään yritys avasi hiukan tapahtunutta, kun Elisa Palstan ylläpitäjä Norris päivitti häiriön viestiketjuun seuraavaa:

Häiriö johtui runkoverkkolaitteen vikatilanteesta. Palvelut saatiin toimimaan laitteiston uudelleenkäynnistämisellä. Toimivuuden varmistamiseksi asiantuntijamme tekivät lisäksi konfigurointimuutoksia runkoverkkoympäristössä.

Jatkotoimenpiteenä selvitämme yhdessä laitevalmistajan kanssa, mikä vikatilanteen aiheutti. Selvityksen pohjalta määrittelemme toimenpiteet, joiden avulla varmistamme, ettei vastaavia häiriötilanteita tule jatkossa.

Jatka lukemista >>

Elisan kaksi epäonnistumista

Jatko

Elisa on 8.6. julkaissut tietoja häiriön syihin liittyen. Käsittelen asiaa uudessa postauksessani.

Hädin tuskin puoli vuotta ehti kulua kaivuriepisodista, kun Elisan linjat tänään katkesivat valtaosalta asiakkaita jälleen. Tämänkertainen häiriö alkoi Elisan mukaan kello 10.30, ja yhteydet toimivat kaikilla jälleen kello 14.30. Pahimmillaan tämä tarkoitti siis neljän tunnin katkosta kesken perjantaita. Omalla kohdallani yhteys oli enemmän-vähemmän poikki noin kaksi ja puoli tuntia.

Elisa ei tätä kirjoittaessa ole kertonut mitään syytä tai selitystä verkkonsa ongelmiin, vaikkakin yrityksen palvelunhallintajohtaja Lasse Huttunen on Twitterissä kertonut asiaa selvitettävän ”pohjamutia myöten”. Syytä kaikenlaiseen muuhunkin itsetutkiskeluun Elisalla on. Jatka lukemista >>

Miksu ja EV-videovuokraamon kirous

Mik­sun (ni­mi muu­tet­tu) vii­kon­lo­pun pi­la­si keh­no ko­ke­mus Eli­sa Viih­tees­tä: Elo­ku­va jäi kat­so­mat­ta Eli­san ka­pa­si­teet­ti­on­gel­mien ta­kia, ei­kä asia­kas­pal­ve­lu­ko­ke­mus­kaan ol­lut pa­ras mah­dol­li­nen.

Ku­va: Ri­ku Es­ke­li­nen: Kau­ko – Vi­ri­tys­ku­va. c ba 3.0

Kerron todellisen4 tarinan todellisesta henkilöstä, jonka nimellä ei ole merkitystä, mutta kutsuttakoon häntä selvyyden vuoksi Miksuksi1. Miksulla on kotiinsa tilattuna Elisa Viihde kaapelimodeemissa, ja hän maksaa palvelustaan 39 euroa 90 senttiä kuukausittain. Hinnalla saa muun muassa Internet-yhteyden 100Mbps/5Mbps -nopeudella.

Eräänä lauantai-iltana11 Miksu päätti viihdyttää itseään katsomalla elokuvan. Koska hänen Elisa Viihteensä sisältää markkinointimateriaalin mukaan digitaalisen videovuokraamon, jonka ”[v]alikoimassa on sekä uutuuselokuvia että klassikoita – ja kattavin valikoima tarjolla olevia kotimaisia elokuvia”, hän päättää selata sen tarjontaa. Pian hän – trailereita katseltuaan – löytääkin mieleisensä elokuvan, vieläpä HD-tasoisena.

Kuuden euron hinta hiukan hirvittää, mutta onhan Miksulla muutama ”vapaalippu” videovuokraamoon. Siispä 100 % alennus käyttöön, ja oma.elisa.fi:stä luntattua PIN1-koodia digiboksiin näpyttelemään. Jes! Helppoa ja mukavaa. Leffa lähtee pyörim… mitä?!

Jo elokuvan tuottajien ja julkaisijoiden tunnuksia katsellessa kuva ja pätkivät, ja Miksulla on vahva arvaus miksi: tiedonsiirtonopeus ei riitä HD-materiaalin siirtoon Internetistä Miksun harmaaseen Netgem-digiboksiin, vaikka boksi yrittääkin kaikkensa puskuroidakseen tarpeeksi dataa vaatimattomaan välimuistiinsa. Kun ei pysty, niin ei pysty.

”Onko vika minussa, digiboksissa, lähiverkossani, modeemissa vai Elisan verkossa?” Miksu pohtii. Miksu on kuitenkin – ainakin omasta mielestään – fiksu kaveri, varsinkin tietotekniikan saralla. Hänen lähiverkkonsakin on näin ollen varsin laadukas. Digiboksi ja kaapelimodeemi ovat Elisan laitteita, mutta Miksu on nähnyt niiden toimivan paremminkin. Varmuuden vuoksi Miksu uudelleenkäynnistää digiboksinsa ja modeeminsa, ja varmistaa, ettei reititinkään ole tukossa. Ei auta. Todella suurella todennäköisyydellä ongelma liittyykin siis Elisan tarjoamaan Internet-yhteyteen tai videovuokraamoon itseensä.

Miksu testaa yhteytensä nopeuden suositulla speedtest.net -palvelulla, joka antaakin karuja lukemia: Nopeus Internetistä Miksun työpöytäkoneelle ei ole suinkaan mainostettu sata megabittiä sekunnissa, vaan juuri ja juuri kymmenesosa siitä. Hän epäilee, ettei 10 Mbps -nopeus riitä HD-tasoisen elokuvan siirtoon. Elokuvanhimo on kova, ja popkornitkin valmiina, joten Miksu on valmis kokeilemaan toista tapaa: vuokraamalla SD-tasoisen2 version samasta elokuvasta ei ehkä saisi kaikkea irti hänen kotiteatteristaan, mutta näkisipä sentään elokuvan. Viimeinen vapaalippu kuluu, elokuva tulee vuokratuksi ja Play-nappi painuu pohjaan.

Elokuvan alkutunnukset pyörivät, äänet kuuluvat, ja Miksu ottaa hyvän löhöasennon sohvallaan. Elokuva vaikuttaa hauskalta. Sitten ääni pätkäisee. Hetken päästä kuva jähmettyy sekunneiksi, ja äänet katoavat. Ääntä ja liikettä tapahtuu sen jälkeen vain sohvan puolella Miksun repiessä hiuksiaan ja kiroillessaan kovaan ääneen. Mielessä käy jopa elokuvan lataaminen The Pirate Baystä3, mutta Miksu tyytyy digiboksille sadatteluun ja telkkarin sulkemiseen. Viikonloppu − kuten myös nyt jo jäähtynyt popkornikeko − on pilalla.

Maanantaina, Elisan puhelinasiakaspalvelun viikonloppuvapaaltaan auetessa, Miksu soittaa hänelle entuudestaan valitettavan tuttuun 050 950 500 -numeroon. Viitisen minuuttia kuluu jonotusmusiikkia kuunnellessa, jonka jälkeen nuoren kuuloinen ääni vastaa: ”Elisa asiakaspalvelu, miten voin auttaa?”. Miksun esitettyä asiansa ja turhautumisensa, asiakaspalvelija pahoittelee asiaa ja tarjoaa lohdutukseksi kahta uutta − kolme kuukautta voimassaolevaa − vapaalippua Viihteen videovuokraamoon. Miksu pohtii ääneen, miten voisi oikein käyttää hyvityksen, kun kerran videovuokraamo ei toimi. Tämä kysymys jää ilmaan leijumaan asiakaspalveluhenkilön siirtyessä jo seuraavaan asiaan.

Seuraavana asiakaspalveluhenkilö haluaa tietää lisää ongelman tyypistä. Miksu kertoo juurta jaksain5, että Internet-yhteys on varsinkin viikonloppuisin ja iltaisin paljon hitaampi kuin se 100 megabittiä sekunnissa, jolla palvelua hänelle aikoinaan kaupiteltiin. Hän kertoo epäilevänsä, että syynä ovat Elisan kapasiteettiongelmat alueella − toisin sanoen jossain kohtaa Elisan kaapeleita yhteys on niin paljon ylibuukattu6, ettei operaattori pysty tarjoamaan palvelua kohtuullisella laadulla. Sympaattinen asiakaspalvelija lupaa kirjata asiasta vikailmoituksen, ja kertoo operaattorin kertovan tekstiviesteitse, kun ongelma on korjattu.

Miksun epäilykset saivat siis vahvistuksen: Elisan verkko on liian ruuhkainen. Enempää ei asiakaspalvelija osaa auttaa eikä Miksu vaatia, joten puhelu päätetään kiitoksiin ja heippoihin. Puhelun jälkeen Miksu ei ole oikeastaan yhtään viisaampi kuin ennen puhelua, mutta ainakin Elisa on nyt tietoinen ongelmasta. ”Laiha lohtu”, hän toteaa.

Parikymmentä minuuttia puhelusta Miksun puhelin soi, ja näytöllä loistaa 09-alkuinen numero. Soittaja on − kuten arvata saattaa − Elisan asiakaspalvelija, todennäköisesti vieläpä sama henkilö jonka kanssa Miksu aiemmin puhui. Asiakaspalvelija kertoo, että kerrottuaan asiasta eteenpäin hän oli saanut tietää, ettei kyseessä ole oikeastaan vika ensinkään: eihän mikään laite fyysisesti ole rikki. Sen sijaan Miksun alueella oleva häiriö on operaattorilla tiedossa, ja siihen on suunniteltu parannusta ensi vuodelle. Tarkempaa aika-arviota ei soittaja osannut kertoa.

Miksun tekisi mieli sanoa kaikenlaista, mutta koska hän on tullut siihen johtopäätökseen, ettei asiakaspalvelijalla ole mahdollisuuksia häntä tämän pidemmälle auttaa, tyytyy hän kiittämään asiakaspalvelijaa edes näistä tiedonrippeistä.

”Miten niin ei ole vika, vaan häiriö?” Miksu aiheellisesti pohtii puhelun jälkeen. Kuluttajan näkökulmasta ei ole merkitystä, toimiiko palvelu huonosti siksi, että Elisalla ei ole tarpeeksi paksua bittiletkua, vaiko siksi, että Videovuokraamokone on ratkennut liitoksistaan. Kun ei toimi, niin ei toimi.

Toinen mieltä kalvava asia on epämääräinen korjausaikataulu. Mahtaako vika korjaantua heti tammikuun alussa, vai kenties vasta vuoden päästä? Mitä käy hänen saamilleen ”leffalipuille”? Pitäisikö hänen soittaa Elisalle ja reklamoida laskustaan − näin hän on joutunut aiemmin toimimaan niin ikään Elisan kapasiteettiongelmien tähden − vai odotella josko asia korjaantuisi itsellään?

Kuin kirsikkana kakun päällä7 Elisan automaatti lähettää tekstiviestin, jossa Miksua pyydetään arvioimaan saamansa palvelun laatua. Kovin mairittelevia arvioita ei Elisa suoriutumisestaan saanut, vaikkei syy tämän nimenomaisen asiakaspalvelijan ollutkaan.

Pitäisikö Miksun sitten vaihtaa operaattoria − onhan hänen Viihteensä määräaikaisuuskin jo päättynyt? Ehkä kannattaisi, mutta hän ei halua palata takaisin ADSL-laajakaistaan eikä varsinkaan hankkia kotiinsa mitään mobiilia laajakaistaa. Jos kaapelissa haluaa pysyä, on operaattorina väkisinkin Elisa, ja sen tarjonnasta Viihde on selvästi hinta/laatu -suhteeltaan paras.

Mutta vaikka kaapelissa olisikin kilpailua, ei Miksu vaihtaisi siltikään. Seurattuaan muiden Internet-operaattorien toimintaa niin palvelullisella kuin eettiselläkin kentällä hän on saanut huomata Elisan olevan ”laadullisine poikkeamineenkin” kilpailijoita valovuosia8 edellä. Se ei tietenkään oikeuta Elisaa kohtelemaan maksavia asiakkaitaan kuin roskaa, ja Miksu odottaakin, että operaattori hoitaa tämänkin ongelman pikaisesti kuntoon.

Miksun kaltaiset, teknistä tuntemusta omaavat9 ”hankalat asiakkaat” ovat Elisalle tärkeitä, sillä he ovat niitä ihmisiä, joiden hihoihin sukulaiset, ystävät ja välillä puolitututkin takertuvat halutessaan tietää ”mimmonen netti mun pitäis tilata ja mistä”. Jos vastauksen halutaan olevan ”Ota Elisa Viihde, se mullakin on ja on tosi hyvä”, ei tämän kertomuksen mukaista tapahtumaketjua pitäisi päästä tapahtumaan.

Joten Elisa, pidä miksut tyytyväisinä tekemällä Viihteestä kunnolla toimiva. Panostus maksaa itsensä varmasti10 takaisin.


1) Nimen valitsin päänsisäisellä pseudosatunnaisuusgeneraattorilla. En tietääkseni tunne ketään Mika-Anteroa tai muitakaan, jolla tuollainen lempi- tai varsinainen nimi voisi olla. Jos olet Miksu, ja tuntuu pahalta, ota yhteyttä niin keksin uuden nimen.
2) Vastaa kuvanlaadultaan karkeasti DVD-tasoista elokuvaa, siinä missä HD-elokuva vastaa Bluray-tasoa.
3) TPB:n ”eston” Miksu kiersi samana päivänä kun se tuli voimaan, ihan vain kiusallaan.
4) Tarinankerronnallisista syistä olen muuttanut muutamia pikkuseikkoja. Esimerkiksi Miksu ei oikeasti lämmittänyt popkorneja.
5) Vai ”juurta jaksaen”?
6) Esimerkiksi lentoliikenteen ylibuukkaukseen vertaaminen on ihan hyvä, mutta harhaanjohtava esimerkki. Paremmin tilannetta kuvaisi tilanne, jossa lentoyhtiö ei kieltäytyisi ottamasta 200-paikkaiseen koneeseensa kaikkia 2000 matkustajaa, vaan tarjoaisi kullekin matkustajalle kymmenesosan levyisen siivun maksamastaan penkistä.
7) Tämä on sarkastinen kielikuva.
8) Valovuosihan − kuten hyvin tiedämme − on matkan mitta.
9) Vihaan omata-sanaa mutten tähän keksinyt parempaakaan tapaa ilmaista itseäni.
10) Nyt kun joku Elisan iso kiho vakuuttui tästä tekstistä, niin kerrottakoon, etten nyt aivan sataprosenttisen varma voi olla. Mutta semmonen kutina on kuitenkin. 
11) Kokeilen tässä kirjoituksessa rytmittämistä lihavoinnilla. Omaan silmääni se vaikuttaa hyvältä, mutta voi muiden mielestä olla vain haitaksi. Jos rasittaa lukea (mutta jostain syystä luit tämän!), kerro asiasta kommenteissa.

Elisan huoltotiedotteet tulevat liian puskista

Elisan verkko­huolto­tiedot­taminen ei ole mieles­täni oikein onnis­tunut viime aikoina.
Kuva: Kuvakaappaus/ elisa.fi

Yleensä olen ollut tyytyväinen siihen, miten käyttämäni ISP Elisa toimii ja palvelee asiakkaitaan. On kuitenkin eräs asia, joka on saanut minut välillä hermoromahduksen partaalle: Elisan tiedottaminen suunnitelluista verkonhuolloistaan.

Elisahan huoltaa nykyään verkkoaan kahtena yönä joka kuukausi, ja huollot ovat omiaan aiheuttamaan Internet-yhteyden pätkimistä. Jos nettiyhteys ei yöllä toimi, tämä tarkoittaa sitä, että esim. varmuuskopioiden ajo pilveen tai päivitysten lataaminen valmiiksi yön aikana jää suorittamatta.


Omassa verkossani automaattinen järjestelmien- ja verkonvalvonta huomaa, jos Internet-yhteys ei toimi, ja huomauttaa siitä minulle (ja muille lähistöllä oleville) äänimerkillä, jotta osaan käydä potkaisemassa reititintä, modeemia tai muuta laitteistoa tarpeen mukaan. Tavallisesti tällaista tapahtuu ehkä kerran kahdessa-kolmessa kuukaudessa plus Elisan verkonhuoltoöinä.

Koskapa on kovin ärsyttävää herätä yöllä siihen, että verkonvalvonta huutaa Elisan verkonhuollon takia, tuppaan sovinnolla säätämään varmuuskopioinnin ja verkonvalvonnan pois päältä niinä öinä, joina Elisa verkkoa rukkailee, jotta saan nukuttua mukavasti. Tällaisiin etukäteistoimenpiteisiin ryhtyminen kuitenkin edellyttää sitä, että Elisa kertoo edes jotenkuten etukäteen, minä öinä se aikoo nettiäni pätkiä yhdessä yhteistyökumppaniensa kanssa. Viime aikoina Elisa ei ole oikein pystynyt tähän.

Vaikka Elisan häiriötiedote-RSS on tilauksessa syötteenlukijassani, en kyttää syötteitä vuorokauden ympäri. Näin ollen tarvitsisin mielellään vähintään pari päivää aikaa valmistautua. Tällainen aika on ilmeisesti Elisan mielestä liikaa vaadittu.

Helmikuun huoltokatkosta tiedote julkaistiin kyllä yli vuorokausi (33 h 48 min) etukäteen, mutta sen jälkeen tiedot ovat tulleet enemmän-vähemmän viime tingassa, jos silloinkaan:

  • Maaliskuun 1. huoltoyö: 29 min ennen ilmoitettua huollon alkamisaikaa.
  • Maaliskuun 2. huoltoyö: 14 h 17 min alkamisajan jälkeen.
  • Huhtikuun 1. huoltoyö: 12 h 23 min ennen alkamisaikaa.
  • Huhtikuun 2. huoltoyö: 14 h 3 min ennen alkamisaikaa.
  • Toukokuun 1. huoltoyö: 15 min ennen alkamisaikaa.
Elisa on julkaissut tiedot­teen keski­määrin noin 9½ tuntia ennen suunni­teltua huollon alku­aikaa. Vaihtelu on lisäksi valtavaa.
Kuva: Riku Eskelinen/ Public Domain

Lähetän Elisalle tästä asiasta palautetta, ja täytyy toivoa että tulevaisuudessa asia saadaan edes jotenkuten järkevälle tolalle. Kunnollisessa ja hyvissä ajoin tehdyssä tiedottamisessa suunnitelluista käyttökatkoista on nimittäin sitä paljon puhuttua ideaa.

IT-viikko: OP-pankin viat johtuivat Tiedon konesalista

Kuvakaappaus/ op.fi

Kirjoitin eilen OP-Pohjolan häiriöstä, ja epäilemästäni vian aiheuttajasta. Tänään IT-viikko uutisoi, että vika todellakin oli Tiedon järjestelmissä:

OP-Pohjolan järjestelmävika on paikallistettu. Vika johtuu Tiedon konesalista ja sen tietoliikenteestä.
Finanssikonserni on ostanut käyttöpalvelut tietotekniikkatalo Tiedolta. Yhtiöillä on yhteisyritys Finanssidata. Tiedon konesaleissa pyörivät OP-Pohjolan järjestelmät.

Vika saatiin korjattua tänään aamuyöstä, ja OP-Pohjolan tietohallintojohtaja Marco Halén kertoo IT-viikon jutussa, että OP-Pohjola tulee vaatimaan Tiedolta korvauksia asiaan liittyen. Halén kertoi jutussa, että:

Palvelun luonteesta johtuen järjestelmä on rakennettu niin, että palvelut pyörivät kahdessa konesalissa. Jostain syystä konesalien välinen tietoliikenne ei toiminut.

IT-viikon uutisointi ei anna kovinkaan tarkkaa kuvaa itse viasta, mutta Osuuspankin verkkosivujen tiedotteessa sen sijaan kerrotaan yllättävän tarkasti tilanteesta:

Häiriön syy oli poikkeuksellinen virhetilanne konesalissa. Häiriön syytä ei vielä ole kyetty täysin selvittämään. Todennäköisin syy tällä hetkellä näyttää olevan verkon kytkin, joka on asetettu (konfiguroitu) väärin. Verkon kytkin jakaa verkon liikennettä. Jos se ei toimi, tieto ei liiku verkossa.

Myös yllättäen, ja toisin kuin arvelin eilisessä kirjoituksessani, OP osoittaa julkisesti syyttävällä sormellaan Tietoa:

Kuka vastaa verkon toiminnasta?
Tieto Finlandilla on vastuu OP-Pohjolan tietoverkon rakentamisesta, toiminnasta ja mahdollisten virheiden korjaamisesta.

Tiedon logo/
Tieto

Hieman jää mietityttämään tämä kaksi konesalia -skenaario. Voisiko olla niin, että OP-Pohjola halusi – kuten voisi ajatella järkevää olevan – palvelunsa kahdennettua niin, että vaikka toinen sali katoaisi verkosta (tai yhteys toisesta toiseen katkeaisi), homma pelittäisi. Sitten Tieto on toteuttanut homman niin, että eri komponentit on jaettu eri konesaleihin ilman minkäänlaista tämän tason replikointia. Paperilla kaikki näyttää hyvältä, tyyliin ”uu jeah kaks konesalia”, mutta kun jotain räjähtää, mikään ei toimi.

Tällaista skenaariota voisi verrata siihen, että halutaan kahden levyn RAID-1¹, mutta todellisuudessa asetetaankin RAID-0¹. Tällöin voidaan vastata kyselyihin ”Onko siinä nyt se RAID?” kirkkain silmin: ”joo joo”. Sitten kun toinen levy poksahtaa, on kaikki rikki ja hajalla, vaikka niin ei pitänyt käydä.

Mainittakoon vielä, etten todellakaan tunne OP-Pohjolan järjestelmiä, ja heitin edellä vain tällaisenkin ajatuksen ilmaan.

Openclipart

En tiedä, mikä saa ”kaikki” suomalaiset suuret yritykset ja yhteisöt hankkimaan palvelunsa Tiedolta. Olisiko niin, että Suomessa on liian vähän kilpailua? Sitten kun yritykset pyrkivät ulkoistamaan kaiken mahdollisen, varsinkin IT:n puolella, tulokset ovat yleensä mitä ovat, sillä syvällinen tuntemus järjestelmiin puuttuu.

Mielestäni tällaisissa yhteiskunnan kannalta melko tärkeissäkin järjestelmissä ei kannattaisi ylipäänsä lähteä sille tielle, että yritetään ulkoistamalla hakea säästöjä, sillä kuten tämäkin esimerkki opettaa, ne säästöt ovat vain väliaikaisia. Kun hommia tehtäisiin ”ihan itte”, alusta loppuun, luotaisiin suomalaiselle IT-alalle lisää työpaikkoja, mikä on melko kestävää kehitystä mielestäni. Enkä minäkään pahakseni pistäisi, vaikka töitä tältä alalta saisinkin.


1) Lisätietoa RAID:ista, Wikipedia