Microsoft связывает сбой Outlook с скрытой ошибкой в программном обеспечении
Microsoft объяснила, что скрытый дефект, внедрённый в июле, стал основной причиной масштабного сбоя Outlook и Microsoft 365 12 ноября, когда рост трафика и снижение мощности серверов перегрузили сетевой шлюз.
Microsoft идентифицировала программный дефект, внедрённый в июле, как основную причину масштабного сбоя Outlook и Microsoft 365 12 ноября. Ошибка, которая не была обнаружена во время тестирования, в сочетании с повышенным спросом и сниженной мощностью серверов перегрузила сетевой шлюз, маршрутизирующий трафик для многих сервисов Microsoft 365, сообщил исполнительный директор Microsoft Чарльз Ламанна в посте в X.
«Мы глубоко сожалеем о влиянии на всех наших клиентов и осознаём, как это сказывается на их обычном бизнесе и операциях», — написал Ламанна.
Ламанна объяснил, что скрытый дефект заставлял серверы становиться неотзывчивыми при определённых нагрузках. Ошибка возникла из исправления, предназначенного для шлюзовых серверов Microsoft 365, и не затрагивала более широкие развертывания Windows. Тестовые лаборатории, использующие более слабое оборудование, не смогли воспроизвести сочетание трафика и аппаратуры, которое позже вызвало проблему, а баг проявлялся сильнее на новых, более мощных машинах.
Во время сбоя около 14 % мощности серверов системы уже было отключено из-за отдельной проблемы. Когда трафик Teams перешёл на ту же инфраструктуру, поддерживающую Outlook, добавленная нагрузка выявила дефект. По мере того как серверы переставали отвечать, трафик автоматически перенаправлялся на оставшиеся рабочие машины, которые затем тоже были перегружены. Ламанна сказал, что в худший момент более 80 % серверов были неотзывчивы.
Отдельная проблема помешала механизмам защиты изолировать сбой в отдельных сетевых секциях, что позволило проблеме распространиться глобально. Восстановление шло медленно, потому что серверы, возвращавшиеся в онлайн, сразу же заполнялись накопившимся трафиком, а автоматические системы восстановления не были рассчитаны на такой масштабный сбой. Инженеры в конечном итоге применили исправление, перезапустили группы серверов и постепенно восстановили сервис.
Teams, OneDrive, SharePoint и офисные приложения смогли переключиться с неисправной инфраструктуры и восстановиться раньше, тогда как Exchange Online, обеспечивающий работу Outlook, не смог сделать то же самое. Ламанна также отверг спекуляции о кибератаке или причине, связанной с ИИ.
«Это не кибератака и не проблема, вызванная инструментами ИИ», — написал он.
Сбой также затронул AI-ассистента Copilot от Microsoft и привёл к тому, что некоторые авиакомпании сообщили о проблемах с системами электронной почты службы поддержки клиентов. Представитель Рич МакКормик, республиканец из Джорджии, использовал инцидент как доказательство уязвимостей цифровых систем, используемых бизнесом, больницами, школами и правительственными учреждениями, и сослался на свой закон о «Разумной облачной безопасности», направленный на улучшение оценки рисков облака и обнаружения угроз.
Ламанна сообщил, что окончательный обзор предоставит более подробную информацию позже на неделе.
«Мы серьёзно относимся к своей ответственности перед клиентами и сделаем всё возможное, чтобы извлечь уроки из этого и предотвратить подобное в будущем», — написал он 13 ноября.