Support us

Microsoft три месяца не замечала ошибку, которая обрушила ее сервисы по всему миру

Компания объяснила, почему почти на сутки перестали нормально работать Outlook и другие сервисы Microsoft 365. Причиной стала ошибка в серверном ПО, которая оставалась незамеченной несколько месяцев и привела к цепной реакции отказов по всему миру.

Оставить комментарий
Добавь в Google
Microsoft три месяца не замечала ошибку, которая обрушила ее сервисы по всему миру

Компания объяснила, почему почти на сутки перестали нормально работать Outlook и другие сервисы Microsoft 365. Причиной стала ошибка в серверном ПО, которая оставалась незамеченной несколько месяцев и привела к цепной реакции отказов по всему миру.

В предварительном отчете Microsoft указала, что ошибка появилась еще в июле после обновления программного обеспечения серверов, через которые пользователи подключаются к облачным сервисам компании.

При высокой нагрузке несколько процессов одновременно пытались получить доступ к одним и тем же ресурсам. В результате серверы расходовали всю доступную вычислительную мощность и переставали отвечать на запросы.

При тестировании проблему не заметили. Дело в том, что Microsoft проверяла обновление преимущественно на менее мощных серверах. На новых машинах с большим количеством процессорных ядер ошибка проявлялась сильнее.

Сбой произошел из-за совпадения двух обстоятельств. Примерно за 15 часов до него часть трафика Teams перенаправили на основные серверы, которые также обслуживали Exchange Online. Одновременно около 14% серверных мощностей были недоступны из-за другой технической проблемы.

Оставшихся мощностей должно было хватить для работы сервисов, но дополнительная нагрузка вызвала скрытую ошибку. Серверы начали один за другим выходить из строя.

Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки инвестфирмы и авиакомпании
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
По теме
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании

Система автоматического восстановления только ухудшила ситуацию. Когда сервер переставал отвечать, она перенаправляла пользователей на другие машины. Те не справлялись с возросшей нагрузкой и тоже выходили из строя.

Менее чем за два часа перестали отвечать более 80% серверов, обеспечивавших подключения к облачным сервисам. Системы защиты, которые должны были не допустить распространения сбоя между регионами, не сработали.

Сильнее всего пострадала корпоративная почта Exchange Online. Многие пользователи не могли открыть письма через Outlook и другие почтовые программы, а доставка сообщений задерживалась. Проблемы затронули также Teams, OneDrive и SharePoint.

Простая перезагрузка серверов не помогала: они снова выходили из строя из-за накопившихся запросов. Инженерам пришлось подготовить исправление, вернуть прежний способ обработки подключений и постепенно восстановить работу оборудования.

Сбой продолжался почти сутки — с 16:20 UTC 12 ноября до 16:10 UTC 13 ноября. Microsoft также увеличила доступные мощности и продлила время хранения писем в очереди на доставку, чтобы они не возвращались отправителям с ошибкой.

В компании подчеркнули, что проблема затронула только ее облачную инфраструктуру и не связана с обычными компьютерами на Windows. Дополнительные подробности об исправлении ошибки Microsoft обещала опубликовать 20 ноября.

Хакеры взламывают ИТ-компании через фейковые собеседования. Под ударом DevOps и админы
Хакеры взламывают ИТ-компании через фейковые собеседования. Под ударом DevOps и админы
По теме
Хакеры взламывают ИТ-компании через фейковые собеседования. Под ударом DevOps и админы
Торвальдс назвал ИИ-исправления новой нормой для Linux но разработчики не выдерживают: давний мейнтейнер ушёл из-за наплыва нейропатчей
Торвальдс назвал ИИ-исправления новой нормой для Linux, но разработчики не выдерживают: давний мейнтейнер ушёл из-за наплыва нейропатчей
По теме
Торвальдс назвал ИИ-исправления новой нормой для Linux, но разработчики не выдерживают: давний мейнтейнер ушёл из-за наплыва нейропатчей
ИИ пишет 90% кода сеньоров не хватает а джунов почти не нанимают — парадокс одной ИТ-компании
ИИ пишет 90% кода, сеньоров не хватает, а джунов почти не нанимают — парадокс одной ИТ-компании
По теме
ИИ пишет 90% кода, сеньоров не хватает, а джунов почти не нанимают — парадокс одной ИТ-компании
Читайте также
Microsoft облажалась даже в космосе: у пилотов лунной миссии «отвалился» Outlook
Microsoft облажалась даже в космосе: у пилотов лунной миссии «отвалился» Outlook
Microsoft облажалась даже в космосе: у пилотов лунной миссии «отвалился» Outlook
Глобальный сбой в Microsoft: почта Outlook и сервисы 365 «лежат» уже полдня — пострадали госорганы разных стран, OpenAI и Anthropic
Глобальный сбой в Microsoft: почта Outlook и сервисы 365 «лежат» уже полдня — пострадали госорганы разных стран, OpenAI и Anthropic
Глобальный сбой в Microsoft: почта Outlook и сервисы 365 «лежат» уже полдня — пострадали госорганы разных стран, OpenAI и Anthropic
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
«Нет пути к реальному применению»: ветеран Microsoft уволился из-за того, что его исследования, способные вдвое удешевить ИИ, не восприняли всерьёз
«Нет пути к реальному применению»: ветеран Microsoft уволился из-за того, что его исследования, способные вдвое удешевить ИИ, не восприняли всерьёз
«Нет пути к реальному применению»: ветеран Microsoft уволился из-за того, что его исследования, способные вдвое удешевить ИИ, не восприняли всерьёз

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.