Microsoft три месяца не замечала ошибку, которая обрушила ее сервисы по всему миру
Компания объяснила, почему почти на сутки перестали нормально работать Outlook и другие сервисы Microsoft 365. Причиной стала ошибка в серверном ПО, которая оставалась незамеченной несколько месяцев и привела к цепной реакции отказов по всему миру.
Компания объяснила, почему почти на сутки перестали нормально работать Outlook и другие сервисы Microsoft 365. Причиной стала ошибка в серверном ПО, которая оставалась незамеченной несколько месяцев и привела к цепной реакции отказов по всему миру.
В предварительном отчете Microsoft указала, что ошибка появилась еще в июле после обновления программного обеспечения серверов, через которые пользователи подключаются к облачным сервисам компании.
При высокой нагрузке несколько процессов одновременно пытались получить доступ к одним и тем же ресурсам. В результате серверы расходовали всю доступную вычислительную мощность и переставали отвечать на запросы.
При тестировании проблему не заметили. Дело в том, что Microsoft проверяла обновление преимущественно на менее мощных серверах. На новых машинах с большим количеством процессорных ядер ошибка проявлялась сильнее.
Сбой произошел из-за совпадения двух обстоятельств. Примерно за 15 часов до него часть трафика Teams перенаправили на основные серверы, которые также обслуживали Exchange Online. Одновременно около 14% серверных мощностей были недоступны из-за другой технической проблемы.
Оставшихся мощностей должно было хватить для работы сервисов, но дополнительная нагрузка вызвала скрытую ошибку. Серверы начали один за другим выходить из строя.
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
Система автоматического восстановления только ухудшила ситуацию. Когда сервер переставал отвечать, она перенаправляла пользователей на другие машины. Те не справлялись с возросшей нагрузкой и тоже выходили из строя.
Менее чем за два часа перестали отвечать более 80% серверов, обеспечивавших подключения к облачным сервисам. Системы защиты, которые должны были не допустить распространения сбоя между регионами, не сработали.
Сильнее всего пострадала корпоративная почта Exchange Online. Многие пользователи не могли открыть письма через Outlook и другие почтовые программы, а доставка сообщений задерживалась. Проблемы затронули также Teams, OneDrive и SharePoint.
Простая перезагрузка серверов не помогала: они снова выходили из строя из-за накопившихся запросов. Инженерам пришлось подготовить исправление, вернуть прежний способ обработки подключений и постепенно восстановить работу оборудования.
Сбой продолжался почти сутки — с 16:20 UTC 12 ноября до 16:10 UTC 13 ноября. Microsoft также увеличила доступные мощности и продлила время хранения писем в очереди на доставку, чтобы они не возвращались отправителям с ошибкой.
В компании подчеркнули, что проблема затронула только ее облачную инфраструктуру и не связана с обычными компьютерами на Windows. Дополнительные подробности об исправлении ошибки Microsoft обещала опубликовать 20 ноября.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.