- #Novinky
- 3 min.
- dnes
Microsoft 365 zložili tri drobnosti naraz. Jedna na svoju chvíľu čakala od júla
Za jedným z najväčších výpadkov v histórii Microsoft 365 nestál útok ani vzbura umelej inteligencie. Microsoft zverejnil predbežnú správu, podľa ktorej sa naraz stretli tri problémy a jeden z nich sa v systéme skrýval od leta.
Outlook, Exchange Online, Teams a ďalšie služby nefungovali alebo fungovali len sporadicky takmer celý deň. Firma podľa vlastných slov vie, čo sa pokazilo, no na niektoré otázky odpovie až v záverečnej správe.
Prvým vinníkom je zmena v sieťovej bráne, cez ktorú prechádza prístup k mnohým službám Microsoft 365. Microsoft ju začal nasadzovať v júli a viac než tri mesiace fungovala bez problémov. Obsahovala však skrytú chybu, kvôli ktorej sa servery s Windowsom pri určitom zaťažení zahltili a prestali reagovať. Pri testovaní sa neprejavila. Problém sa podľa firmy zhoršuje na novších strojoch s vyšším počtom jadier, aké laboratórne testy nepokrývali.
Druhým dielikom bol presun prevádzky. Microsoft má pre odolnosť dve nezávislé brány, a približne pätnásť hodín pred výpadkom sa Teams presunul z alternatívnej brány na primárnu. Práve cez tú ide aj Exchange Online. Brána tak zrazu obsluhovala viac požiadaviek a v inom zložení než predtým.
Tretím dielikom bola chýbajúca rezerva. Deň predtým vypadlo pre nesúvisiacu poruchu takmer 14 percent kapacity serverov brány. Za bežných okolností by zvyšok nápor zvládol. V kombinácii s júlovou chybou a novou skladbou prevádzky však servery začali padať jeden za druhým.
Keď sa v Spojených štátoch rozbehol pracovný deň, reťazová reakcia bola v plnom prúde. Systémy presmerovali požiadavky zo zamrznutých serverov na zdravé, tie však okamžite narazili na tú istú chybu. Podľa Microsoftu sa chyba za menej než dve hodiny rozšírila po celej flotile a v najhoršej chvíli nereagovalo viac než 80 percent serverov. Prečo výpadok nezostal obmedzený na jeden región, firma v predbežnej správe podrobne nevysvetľuje.
Oprava sa ťahala, pretože klasické postupy zlyhali. Reštart nepomohol, lebo na každý obnovený server čakal obrovský rad požiadaviek, ktorý ho okamžite znovu zložil. Automatická obnova podľa Microsoftu na taký plošný stav nebola navrhnutá. Návrat k staršej verzii ani vypnutie funkcií cez prepínače tiež nedokázali zmenu rýchlo vrátiť.
Teams, OneDrive a ďalšie aplikácie sa dali presmerovať mimo postihnutú bránu. Exchange Online túto možnosť pre svoju veľkosť nemal, a preto e-maily trpeli najdlhšie. Inžinieri napokon nasadili cielenú aktualizáciu, ktorá vrátila spracovanie spojení do overeného stavu, a servery postupne vracali do prevádzky.
Microsoft odvtedy pridal kapacitu, monitorovanie presmerovania prevádzky a ochranné limity na jej rozdeľovanie. Predĺžil aj lehotu na doručenie pošty, aby sa oneskorené správy nevracali odosielateľom ako nedoručiteľné. Ak vám však v tých dňoch prišiel e-mail o „probléme s vaším účtom Microsoft 365“, buďte opatrní. Microsoft Threat Intelligence upozornil na phishingovú kampaň, ktorá výpadok zneužívala.
Záverečnú správu s úplným zoznamom nápravných krokov má Microsoft zverejniť 20. novembra.