Skrivena greška iz jula oborila Microsoft 5: tri faktora udružila su se u prekid od gotovo 24 sata
Preliminarni izvještaj Microsofta pokazuje da je prekid rada Microsofta 365 i Exchange infrastrukture, jedan od najvećih u historiji kompanije, izazvala kombinacija skrivene greške u cloud gatewayju, promjena u saobraćaju i smanjenog kapaciteta servera. Prekid je trajao gotovo 24 sata.
Jedan od najvećih prekida u historiji kompanije, koji je prošle sedmice pogodio Microsoft 365 i Exchange infrastrukturu, izazvala je greška u Microsoftovom cloud gatewayju koja je u sistemu bila prisutna još od jula, pokazuje preliminarni izvještaj o incidentu koji je kompanija objavila. Microsoft navodi da se radilo o tehničkom problemu koji nije povezan ni sa kibernetičkim napadima ni sa vještačkom inteligencijom, odnosno agentima.
📷Kliknite i pogledajte prave fotografijegalerija na Ars Technica→Prekid je počeo 12. novembra u 16:20 UTC i trajao je do 13. novembra u 16:10 UTC, odnosno gotovo 24 sata, dok je dodatno praćenje pogođenih sistema ostalo na snazi i kroz 14. novembar. Kvar se brzo proširio na kompanije i javne ustanove koje zavise od Microsoftove cloud infrastrukture i e-mail servisa. Incident je zabilježen pod Microsoftovim identifikatorima EX1550543 i MO1550821, a cijeli izvještaj dostupan je administratorima Microsofta 365 na stranicama kompanije.
Tri faktora udružena u „savršenu oluju"
Microsoft kvar pripisuje trima uzrocima. Prvi je greška uvedena promjenom na cloud gatewayju, koja je počela biti primjenjivana od jula, a zbog koje su pod određenim uslovima CPU i memorijski resursi mogli biti iscrpljeni i prestati odgovarati. Kompanija tvrdi da defekt nije otkriven u testiranjima prije objavljivanja jer je korišteni hardver bio slabiji od nekih sistema već u produkciji, gdje je, kako se navodi, veći broj jezgara na novijim mašinama doprinio zaključavanju.
Drugi faktor bilo je opterećenje servera. „Promjene u saobraćaju tokom standardnog mrežnog održavanja i nadogradnji izložile su skrivenu grešku", naveo je Microsoft. Kompanija održava dva nezavisna gateway sistema za pristup Microsoftu 365 radi otpornosti, pa otprilike 15 sati prije kvara saobraćaj sa servisa Teams bio je prebačen sa alternativnog na primarni gateway, preko kojeg se održava pristup Exchange Online servisu. Prebacivanje je bila standardna sigurnosna mjera, ali je gatewayu donijelo veći obim i drugačiji sastav zahtjeva. Kako su se zahtjevi gomilali, pogođeni serveri su iscrpili kapacitet i počeli odbijati nove zahtjeve za konekciju.
Promjena u saobraćaju otkrila je i treći faktor — kapacitet infrastrukture. Zbog postojećeg kvara, flota gateway servera radila je sa 14 posto ispod optimalnog kapaciteta. Taj rezervni kapacitet inače bi preuzeo povećanu potražnju, ali u kombinaciji sa izmijenjenim obrascima saobraćaja i postojećim defektom zahtjevi su se nastavili gomilati. Kada su američke kompanije počele dostizati dnevne vršne satove, gateway serveri su počeli zamrzavati. Backup sistemi koji su preusmjeravali zahtjeve sa neodgovarajućih servera odradili su svoj zadatak, ali su i na njima naišli na iste blokade. Rezultat je bio efekat lavine — zamrznuto je više od 80 posto pogođenih gateway servera. Mehanizmi za izolaciju pogođenih sistema po regionima, kako izgleda, nisu funkcionisali, a izvještaj ne objašnjava zašto.
Zašto je oporavak trajao tako dugo
Oporavak je bio sporiji nego inače jer je popravka zahtijevala ciljano ažuriranje sistema od strane Microsoftovih inženjera. Restartovanje servera nije pomagalo — po povratku u rad, veliki redovi zahtjeva bi odmah ponovo izazvali isto iscrpljivanje resursa. Microsoft navodi da su se servisi poput Teamsa, OneDrivea i drugih Office aplikacija mogli preusmjeriti sa pogođene infrastrukture, ali je Exchange Online to spriječilo zbog ograničenja u skaliranju. Povratak na raniju verziju sistema također nije dolazio u obzir jer greška iz jula tada još nije bila otkrivena.
Serveri su zakrpljeni i postepeno vraćeni u rad, a Microsoft kaže da je dodao dodatni kapacitet i zaštitne mehanizme za raspodjelu saobraćaja kako bi spriječio slične incidente. Kompanija je također produžila vremenske limite za isporuku pogođenih e-mail poruka, kako odgođene poruke ne bi bile vraćene kao nedostavljive. Konačan izvještaj o incidentu Microsoft očekuje objaviti 20. novembra, a on bi mogao donijeti dodatna pojašnjenja o tome zašto sistemi za regionalnu izolaciju nisu funkcionisali i koje korektivne mjere će biti preduzete da se ovakav prekid izbjegne u budućnosti. Svi Microsoftovi cloud servisi bili su online i operativni u ponedjeljak ujutro.
Slika: ALFA TV · prave fotografije (Ars Technica)
Izvor: Ars Technica / Getty Images
Originalni link: arstechnica.com
Tekst: Uredništvo ALFA TV
Povezane vijesti

Studija: hiperskalni data centri troše 1,5 do 2,2 posto električne energije u SAD-u

Sentinel-6B postat će referentni satelit za praćenje visine morske površine

NASA objavila koláž 49 rupa koje je rover Curiosity izbušio na Marsu
