En enda bugg, i ett enda program slog ut en värld – i alla fall stora delar av en värld, IT-världen. Vi som valt att använda Mac, Linux och som tagit steget bort från Windows tittade på och undrade vad som hade hänt. Den viktigare frågan är hur vi överhuvudtaget kan tillåta att det kan ske?
Crowdstrike tillhandahåller säkerhetslösningar, antivirus, övervakning av drift, brandväggar och åtkomstskydd. Det var Crowdstrike som ställde till det för stora delar av sina kunder när de skulle skicka ut en uppdatering, en signaturfil för antivirus sägs det.
Problemen startade i Australien och spred sig sedan likt en digital pest över hela världen vartefter världen vaknade och försökte använda sina datorer, Windows, och få igång viktiga system hos sjukhus, banker, flygbolag, butiker och företag.
I Sverige tvingades LKAB plocka upp alla som arbetar under jord, flygningar fick ställas in och butiker kunde inte ta betalt – för en enda uppdatering?
Lösningen, kunde Crowdstrike berätta, var att starta om drabbade datorer och manuellt plocka bort den felande filen. En bagatell kan tyckes men idag kommer inte IT-teknikern fysiskt till många användare. Hen sitter i ett call-center i Indien eller någon annanstans där arbetskraft är billigt och försöker hjälpa användare fjärrstyrt. Det är så IT-världen ser ut idag. Stora globala system är beroenden av samma lösningar och de servras på användarnivå fjärrstyrt. Det är alltså inte en bagatellartad, snabb insats, att starta om en dator och manuellt plocka bort en fil där allt bygger på automatisering.
Hur har vi hamnat där, hur kan en värld beroende av datorer lägga alla ägg i samma korg. Borde vi inte veta bättre?
Jag driver ett litet IT-bolag, med betoning på litet. Vi har också system som ska uppdateras men det skulle aldrig falla mig in att uppdatera allt, på en och samma gång. Det gör du inte. Undantaget är viktiga säkerhetsuppdateringar. Alla andra uppdateringar installeras på några få system sedan avvaktar du, ser om något händer, om något går snett och du väntar inte några timmar – du väntar några dagar innan du fortsätter att installera uppdateringar. Du har system som är testbäddar för nya program, nya installationer och du testkör allt som ska testköras i dagar, veckor innan du litar på att saker och ting faktiskt fungerar.
Det här handlar inte om att vara übersmart utan det är så du gör – i en sund IT-miljö med ett vettigt. logiskt arbetssätt.
Jag förutsätter att Crowdstrike har testsystem där allt som skickas ut testas, först, men jag är inte så säker på att det verkligen är så. Rimligen och logiskt borde inte en sån här bugg slinka igenom en sådan test i så fall.
Testades verkligen uppdateringen innan den skickas ut?
Det är lätt att peka finger mot Windows, anklaga Microsoft för att ha bytt och utvecklat ett system och en lösning som kan slås ut så här enkelt. Skrattet kan fastna i halsen på oss Mac-användare, de som kör Linux och andra operativsystem, för vi skulle kunna åka dit på samma sätt – om en centralt distribuerad uppdatering går snett.
Nu lär vi inte ska dit på en signaturfil för en antiviruslösning men om Apple skickade ut en uppdatering som skickar din Mac rätt in i väggen så skulle vi också ska dit, speciellt om det var en viktig säkerhetsuppdatering. Nu har det, mig veterligen aldrig hänt, (peppar, peppar) och Apple brukar inte tillföra nya, allvarliga buggar i sina uppdateringar (peppar, peppar) vilket får mig att tro att de verkligen testkör alla uppdateringar innan de skickas ut men det finns enskilda händelser där ett litet antal användare har råkat ut för större funktionella problem efter en uppdatering – även från Apple. Du kan inte testa allt, du kan inte hitta alla olika kombinationer mellan mjukvara och hårdvara som kan ställa till det och ibland, i sällsynta fall så går det åt pipsvängen i alla fall.
I det här fallet – en mycket stor mängd datorer slås ut, direkt, sedan uppdateringen har installerats får inte mig att tro att Crowdstrike verkligen testat uppdateringen. Det här händelseförloppet får mig att tro att Crowdstrike har ett omfattande internt utredningsarbete att göra och att det som bland annat måste ses över är hur uppdateringar distribueras och hur de testas innan de skickas ut.
Hur kan en uppdatering av ett enda program leda till en global IT-krasch?
Svaret är nog, som alltid, pengar. Tester kostar pengar, testsystem kostar pengar och i en värld där det mesta av alla pengar läggs på nya datorer, nya system är säkerhet en svårsåld produkt. Varför ska vi köpa in system och lösningar som vi förhoppningsvis aldrig ska behöva att använda?
När Jumbo lanserade bandstationer för att göra säkerhetskopior av datorer och system, för många år sedan, så skickade ibland med en t-shirt till sina kunder med texten “Hårda killar gör inte backup – de gör om jobbet istället”.
Där är vi nu. Gör om, gör rätt och ge oss svar på frågan:
Hur en enda uppdatering kunde leda till den största och mest omfattande IT-kraschen, globalt, hittills?
Bra inlägg! Det är med största sannolikhet att det rör sig om pengar. CrowdStrike har vuxit kraftigt de senaste åren och gått som en raket på börsen efter deras utredning om rysk påverkan i USA:s val 2016. Under året har det förekommit kritik från det schweiziska säkerhetsföretaget Modzero, som offentliggjorde ett problem efter att ha kritiserat CrowdStrike för deras hantering av sårbarhetsrapporteringen. Jag håller med dig om att det hela verkar som om CrowdStrike inte ens testkörde uppdateringen – eller så kan det vara en anställd som lagt fel version i uppdateringsmappen. Testning av programvara kostar pengar och blir ett… Läs mer »
Tack, Jag håller med dig. Testning är svårt, kostar pengar men i en sund miljö är det nödvändigt – får att inte råka ut för problem av den här typen som garanterat kostar oändligt mycket mer pengar. Det är ett bra, talande exempel du ger också – det är exakt den typ av händelser som inte går att förutse men som ändå händer.
Det här, att en enda uppdatering, slår ut system på en stor skala, globalt, ska inte få hända.
Vi är helt eniga. Även kunder till stora systemleverantörer borde kanske först verifiera att uppdateringen är korrekt. Att först installera i en testmiljö borde vara en självklarhet för tex ett flygbolag eller leverantör av betalningstjänster.
Själv håller jag just på med att testa Sequoia – men i en säker virtuell miljö.
Instämmer, kan leverantören inte garantera tester så byt leverantör eller se till att testa själv.