Дапамажыце dev.by 🤍
Падтрымаць

Microsoft тры месяцы не заўважала памылку, якая абрынула яе сервісы па ўсім свеце

Кампанія растлумачыла, чаму амаль на суткі перасталі нармальна працаваць Outlook ды іншыя сервісы Microsoft 365. Прычынай стала памылка ў серверным ПЗ, якая заставалася незаўважанай некалькі месяцаў і прывяла да ланцуговай рэакцыі адмоваў па ўсім свеце.

Пакінуць каментарый
Дадай у Google
Microsoft тры месяцы не заўважала памылку, якая абрынула яе сервісы па ўсім свеце

Кампанія растлумачыла, чаму амаль на суткі перасталі нармальна працаваць Outlook ды іншыя сервісы Microsoft 365. Прычынай стала памылка ў серверным ПЗ, якая заставалася незаўважанай некалькі месяцаў і прывяла да ланцуговай рэакцыі адмоваў па ўсім свеце.

У папярэднім справаздачы Microsoft паказала, што памылка з’явілася яшчэ ў ліпені пасля абнаўлення праграмнага забеспячэння сервераў, праз якія карыстальнікі падключаюцца да воблачных сервісаў кампаніі.

Пры высокай нагрузцы некалькі працэсаў адначасова спрабавалі атрымаць доступ да адных і тых жа рэсурсаў. У выніку серверы расходавалі ўсю даступную вылічальную магутнасць і пераставалі адказваць на запыты.

Пры тэставанні праблему не заўважылі. Справа ў тым, што Microsoft правярала абнаўленне пераважна на менш магутных серверах. На новых машынах з большай колькасцю працэсарных ядраў памылка праяўлялася мацней.

Збой адбыўся праз супадзенне двух абставін. Прыкладна за 15 гадзін да яго частку трафіку Teams перанакіравалі на асноўныя серверы, якія таксама абслугоўвалі Exchange Online. Адначасова каля 14% серверных магутнасцяў былі недаступны праз іншыя тэхнічныя праблемы.

Магутнасцяў, якія засталіся, павінна было хапіць для працы сервісаў, але дадатковая нагрузка выклікала схаваную памылку. Серверы пачалі адзін за адным выходзіць з ладу.

Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки инвестфирмы и авиакомпании
Назад да тэлефонаў і факсаў: глабальны збой у Microsoft паралізаваў банкі, інвестфірмы і авіякампаніі
Па тэме
Назад да тэлефонаў і факсаў: глабальны збой у Microsoft паралізаваў банкі, інвестфірмы і авіякампаніі

Сістэма аўтаматычнага аднаўлення толькі пагоршыла сітуацыю. Калі сервер пераставаў адказваць, яна перанакіроўвала карыстальнікаў на іншыя машыны. Тыя не давалі рады з узрослай нагрузкай і таксама выходзілі з ладу.

Менш чым за дзве гадзіны перасталі адказваць больш за 80% сервераў, якія забяспечвалі падключэнні да воблачных сервісаў. Сістэмы абароны, якія павінны былі не дапусціць распаўсюджвання збою паміж рэгіёнамі, не спрацавалі.

Мацней за ўсё пацярпела карпаратыўная пошта Exchange Online. Многія карыстальнікі не маглі адкрыць лісты праз Outlook і іншыя паштовыя праграмы, а дастаўка паведамленняў затрымлівалася. Праблемы закранулі таксама Teams, OneDrive і SharePoint.

Звычайны перазапуск сервераў не дапамагаў: яны зноў выходзілі з ладу праз назапашаныя запыты. Інжынерам давялося падрыхтаваць выпраўленне, вярнуць ранейшы спосаб апрацоўкі падключэнняў і паступова аднавіць працу абсталявання.

Збой працягваўся амаль суткі — з 16:20 UTC 12 лістапада да 16:10 UTC 13 лістапада. Microsoft таксама павялічыла даступныя магутнасці і падоўжыла час захоўвання лістоў у чарзе на дастаўку, каб яны не вярталіся адпраўнікам з памылкай.

У кампаніі падкрэслілі, што праблема закранула толькі яе воблачную інфраструктуру і не звязана са звычайнымі кампутарамі на Windows. Дадатковыя падрабязнасці пра выпраўленні памылкі Microsoft абяцала апублікаваць 20 лістапада.

Хакеры взламывают ИТ-компании через фейковые собеседования. Под ударом DevOps и админы
Хакеры ўзломваюць ІТ-кампаніі праз фэйкавыя суразмовы. Пад ударам DevOps і адміны
Па тэме
Хакеры ўзломваюць ІТ-кампаніі праз фэйкавыя суразмовы. Пад ударам DevOps і адміны
Торвальдс назвал ИИ-исправления новой нормой для Linux но разработчики не выдерживают: давний мейнтейнер ушёл из-за наплыва нейропатчей
Торвальдс назваў ІІ-выпраўленні новай нормай для Linux, але распрацоўшчыкі не вытрымліваюць: даўні мейнтэйнер сышоў з-за наплыву нейрапатчаў
Па тэме
Торвальдс назваў ШІ-выпраўленні новай нормай для Linux, але распрацоўшчыкі не вытрымліваюць: даўні мэйнтэйнер сышоў праз наплыў нейрапатчаў
ИИ пишет 90% кода сеньоров не хватает а джунов почти не нанимают — парадокс одной ИТ-компании
ІІ піша 90% кода, сеньёраў не хапае, а джунаў амаль не наймаюць — парадокс адной ІТ-кампаніі
Па тэме
ШІ піша 90% кода, сеньёраў не хапае, а джуноў амаль не наймаюць — парадокс адной ІТ-кампаніі

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

Каментарыяў пакуль няма.