Microsoft признала наличие невыявленной ошибки, вызвавшей глобальный сбой Outlook, Teams и других сервисов
Ошибка в программном обеспечении, присутствовавшая в дата-центрах Microsoft с июля, привела к многочасовому отключению Outlook, Teams, Copilot и других сервисов после перенаправления трафика 11 ноября.
Microsoft заявила, что ошибка, присутствовавшая в её дата-центрах с июля, вызвала масштабный сбой Outlook, Teams, помощника Copilot AI и других сервисов после планового перенаправления трафика 11 ноября. Перенаправление, в сочетании со сниженной ёмкостью серверов из-за несвязанной проблемы в начале недели, привело к исчерпанию памяти на серверах, после чего они отказали. Автоматизированные системы дополнительно перенаправили трафик на другие серверы, распространив проблему. К 11:30 по местному времени 12 ноября, когда пик бизнес-трафика в США, компания подтвердила наличие серьёзного сбоя.
Компания потратила примерно 15 часов на устранение неполадок, прежде чем начать развертывание исправления, и ещё 15 часов на его внедрение. Во время сбоя многие корпоративные и правительственные пользователи столкнулись с задержками электронной почты, отсутствием приглашений в Teams и были вынуждены использовать альтернативные методы коммуникации. На пике инцидента более 80 % серверов, связанных с Outlook, не отвечали.
Чарльз Ламанна, исполнительный вице-президент Microsoft по программному обеспечению для рабочего места, опубликовал извинения в X, описав причину и предпринятые шаги по её устранению. Техническая хронология, предоставленная пользователям Microsoft 365, показала, что автоматические действия по восстановлению компании непреднамеренно спровоцировали каскадный сбой. Ламанна сказал, что ошибка не была обнаружена, потому что моделируемый трафик в лабораториях Microsoft не соответствовал реальным условиям, а сбой был более тяжёлым на новых, более ёмких аппаратных платформах, чем на старых системах, обычно используемых для тестирования.
Microsoft отметила, что обычно тестирует сетевые изменения в лабораториях и на ограниченных сетевых сегментах перед более широким развертыванием, что является стандартной практикой для крупных поставщиков онлайн-сервисов.