Laurence CadieuxDer findes IT-nedbrud. Der findes betydelige IT-nedbrud. Der findes massive IT-nedbrud.
Og så er der CrowdStrike-IT-nedbruddet, der „svarer til at tage dit værste mareridt som IT-professionel, gøre det 100 gange værre og stadig ikke være i nærheden“, og som brød ud over hele verden den 19. juli.
Situationen udvikler sig ekstremt hurtigt, og det kommer til at tage tid at pakke detaljerne ud og få tingene tilbage til det normale. Lad os alligevel opsummere, hvad vi ved indtil videre, og pege på nogle tidlige læringer.
Hvad er CrowdStrike?
CrowdStrike er en amerikansk cybersikkerhedsvirksomhed, der leverer software til mange store organisationer i hele verden, herunder flere Fortune 500-virksomheder. Flagskibsproduktet hedder Falcon og er en platform til endpoint detection and response (EDR), der scanner maskiner for tegn på usædvanlig eller ondsindet aktivitet og lukker trusler ned. For at Falcon kan gøre sit arbejde, skal det være tæt integreret med kernesoftwaren på de systemer, det kører på — herunder Microsoft Windows.
Hvad skete der?
Vi ved nu, at nedbruddet blev udløst af en defekt Falcon-opdatering, som fik maskiner med Windows til at crashe. Når mere end 6.000 virksomheder i hele verden bruger Falcon, ville det alene have været katastrofalt. Men historien bliver meget, meget værre.
Crashet sendte de berørte maskiner ind i en genopretningsløkke ved opstart. I stedet for at arbejde sig igennem opstartssekvenser (kedelige, men ikke skræmmende) og komme online igen, blev brugerne mødt af en gammel ærkefjende fra Microsoft, som er endnu mere universelt hadet end Clippy: den berygtede Blue Screen of Death (BSOD).
Den katastrofale hændelse berørte tusindvis af virksomheder i hele verden og førte til fly på jorden og til bank- og hospitalstjenester, der gik i stå. Nogle hospitaler blev faktisk tvunget til midlertidigt at lægge deres netværks- og computerinfrastruktur til mange millioner dollars til side og vende tilbage til gammeldags papir. Samlet set blev anslået 8,5 millioner enheder berørt.
Den lyse side
Selv de mest dedikerede optimister har svært ved at finde noget positivt ved det, mange kalder historiens største IT-nedbrud (nogle iagttagere har spekuleret på, om vi står over for Y2K, bare 24 år for sent). Vi har dog to små punkter til mappen „det kunne have været værre“.
Det første er, at CrowdStrike hurtigt bekræftede i en udtalelse, at nedbruddet skyldtes en fejlbehæftet opdatering og ikke et cyberangreb. Det er ganske vist næppe en grund til at fejre. Men vi kan alle blive enige om, at det er langt at foretrække at tilskrive katastrofen fejlbehæftede praksisser og (muligvis) inkompetente medarbejdere hos CrowdStrike frem for at give ondsindede aktører æren.
Det andet er, at Falcon er bygget til store organisationer, og derfor blev hjemmebrugere af Windows 10 — som typisk bruger endpoint-antivirus som Norton, McAfee og Windows Defender — ikke berørt (hvilket også betød, at millioner af medarbejdere, der fik besked på at blive hjemme den 19. juli, eller blev sendt tidligt hjem, fordi de ikke kunne få noget fra hånden, havde masser af tid til at hoppe på pc’en og forvandle de sociale medier til et CrowdStrike-katastrofe-watchparty i realtid).
Hvad bliver der gjort?
Som nævnt udvikler situationen sig hurtigt, og nyt kommer til dag for dag (og nogle gange time for time). På det tidspunkt, hvor det her skrives, har CrowdStrike dog oplyst, at Windows-værter, der ikke er berørt, ikke kræver nogen handling, fordi den problematiske kanalfil er blevet rullet tilbage. Desuden bliver Windows-værter, der blev bragt online efter kl. 5.27 UTC den 20. juli, ikke berørt.
CrowdStrike har også offentliggjort workarounds for enkelte værter og offentlige cloud-miljøer (herunder virtuelle). De findes på virksomhedens websted sammen med dokumentation til BitLocker-genopretning på tværs af forskellige værktøjer (såsom Tanium, Citrix og andre).
Og på en mere opløftende note: Fra den 21. juli tikker der rapporter ind om, at nogle lufthavne, hospitaler og andre berørte organisationer er på vej tilbage til normal drift.
Hvad har vi lært indtil videre?
Det kommer til at tage uger, sandsynligvis måneder, at lave en komplet efteranalyse. Det bør dog ikke stoppe os fra at lære så meget, vi kan, lige nu:
1. Vi bliver mindet om, at nedbrud sker i IT-verdenen.
Nogle uden for IT-verdenen tror, at IT-software og -systemer er fejlfri og altid bør virke perfekt. Og når de ikke gør det, går de i panik — som de strandede lufthavnspassagerer, der lod deres vrede gå ud over flyselskabets personale, som absolut intet havde med IT-nedbruddet at gøre og sandsynligvis aldrig engang havde hørt om CrowdStrike.
Sandheden er, at nedbrud kan ske og vil ske (sådan som vi desværre oplevede det med Devolutions Force for nogle måneder siden). Derfor er robuste, opdaterede og dokumenterede katastrofeplaner afgørende. Planerne bør indeholde detaljerede og tydelige protokoller og processer til hurtigt at identificere, isolere og løse forskellige scenarier og problemer. Desuden skal planerne testes regelmæssigt gennem simulerede øvelser, så sårbarheder, der kan forbedres, bliver opdaget i tide.
2. En omfattende tilgang til opdateringsstyring er afgørende.
Tilgangen skal styre test før udrulning på tværs af flere staging-miljøer og konfigurationer, så mulige problemer opdages i tide. Processen bør omfatte automatiseret test, manuel test og regressionstest, som er med til at sikre, at nye opdateringer ikke forstyrrer eksisterende funktioner.
Og lige så vigtigt: Arbejdet bør ledes af CIO’er og CTO’er og ikke lægges over på systemadministratorer, der ofte ender som „en ensom stemme i ørkenen“ og bliver beskyldt for at være bureaukratiske og ineffektive, når de blot prøver at holde virksomheden ude af overskrifterne af alle de forkerte grunde.
3. Overvåg afvigelser efter udrulning.
Hold godt øje efter udrulning ved at bruge stærkere overvågning og kapacitet til hændelsesrespons, som skal understøttes af enkel rapportering. Som cloud- og datacentervirksomheden LightEdge råder til: „Når avancerede overvågningsværktøjer bruges til at opdage afvigelser umiddelbart efter udrulning, bliver hurtig indgriben mulig. Overvågning og alarmering i realtid bør være på plads, så problemer fanges, mens de sker. Det er afgørende at udvikle detaljerede planer for hændelsesrespons med tydelige protokoller til hurtig identifikation, isolering og løsning af problemer. Planerne bør omfatte rodårsagsanalyse og gennemgang efter hændelsen, så responsstrategierne løbende forbedres.“
4. Planlæg for stærkere robusthed.
Virksomheder skal indføre redundans og failover-mekanismer, så kritiske systemer forbliver online, selv hvis én komponent fejler. Javed Abed, adjunkt i informationssystemer ved Johns Hopkins Carey Business School i Baltimore, sagde til CNBC: „Et enkelt fejlpunkt bør ikke kunne stoppe en virksomhed, og det var det, der skete. Du kan ikke stole på kun ét cybersikkerhedsværktøj. Det koster at bygge redundans ind i virksomhedssystemer, men det, der skete fredag, er dyrere. Jeg håber, det her er et wake-up call, og jeg håber, det får virksomhedsejere og organisationer til at ændre tankegang og revidere deres cybersikkerhedsstrategier.“
Blev du berørt, og hvad er dit råd?
Vi holder godt øje med det kolossale CrowdStrike-crash i 2024 og udgiver opdateringer, efterhånden som vi lærer mere.
I mellemtiden må du gerne dele, om din virksomhed blev berørt af nedbruddet, og i hvilket omfang. Del også gerne dine holdninger og råd. Hvilke andre læringer, hvilken visdom og hvilke best practices vil du fremhæve?