Microsoft объясняет глобальный сбой 365 ошибкой в июле и всплеском трафика
Microsoft заявила, что ошибка, введённая в июльском обновлении, вместе с ростом трафика Teams и снижением ёмкости серверов, вызвали почти 24-часовой мировой сбой сервисов Microsoft 365 12-13 ноября.
Microsoft определила программный дефект, введённый в июльском обновлении своих серверов сетевых шлюзов, как основную причину мирового сбоя Microsoft 365, который начался в 11:20 по восточному времени в четверг, 12 ноября, и продлился до 11:10 по восточному времени следующего дня. Ошибка, не обнаруженная во время тестирования на менее мощном оборудовании, могла перегрузить серверы при определённых условиях трафика.
Проблема была вызвана после автоматического переключения Teams, которое перенаправило трафик на инфраструктуру, используемую Exchange Online, увеличив нагрузку на уже перегруженные серверы. В то же время около 14 % ёмкости шлюза было недоступно из-за несвязанной проблемы, что ещё больше сократило доступные ресурсы.
Microsoft сообщила, что более 80 % серверов шлюза стали неотзывчивыми, а меры предосторожности, предназначенные для ограничения региональных сбоев, не смогли предотвратить каскадный сбой. Пока такие сервисы, как Teams, OneDrive и SharePoint, смогли переключиться на альтернативную инфраструктуру, Exchange Online не смог, из-за чего многие пользователи не могли получить доступ к электронной почте.
«Менее чем за два часа ранее неизвестный дефект был обнаружен по всему нашему парку и сделал его неотзывчивым. В самый низкий момент более 80 % серверов были неотзывчивыми», — говорится в предварительном отчёте компании.
«Наше обычное нагрузочное тестирование не выявило скрытую проблему из-за состава трафика и SKU, использованных в наших лабораториях», — добавила Microsoft, отмечая, что тестирование было сосредоточено на более слабом оборудовании.
После выявления ошибки инженеры развернули исправление на затронутых серверах, и к утру 13 ноября сервисы были полностью восстановлены. Microsoft заявила, что увеличила ёмкость, улучшила мониторинг и добавила меры предосторожности, чтобы предотвратить подобные каскадные сбои. В заявлении в X Чарльз Ламанна, исполнительный вице-президент Copilot, Agents и Platform, извинился за сбой.
Компания планирует опубликовать окончательный пост-инцидентный отчёт позже на этой неделе.