Microsoft объясняет глобальный сбой Outlook дефектом программного обеспечения июля и проблемами с емкостью серверов
Только факты

Microsoft объясняет глобальный сбой Outlook дефектом программного обеспечения июля и проблемами с емкостью серверов

Кратко

Microsoft заявила, что скрытый дефект программного обеспечения, введённый в июле, в сочетании со сдвигом трафика и сниженной ёмкостью серверов, привёл к отказу более 80 % серверов сетевого шлюза во время прошлой недели глобального сбоя.

Microsoft отследила прошлую неделю глобальный сбой Outlook и других сервисов Microsoft 365 до дефекта программного обеспечения, введённого в июле, отметив, что в разгар инцидента более 80 % серверов, поддерживающих её сетевой шлюз, стали неотзывчивыми. Чарльз Ламанна, исполнительный вице-президент компании по Copilot, агентам и платформе, сказал, что три фактора соединились, вызвав отказ: скрытый дефект, сдвиг трафика Microsoft Teams к основному шлюзу и сниженная ёмкость серверов.

"Мы глубоко сожалеем о воздействии на всех наших клиентов и признаём, как это влияет на их обычный бизнес и операции," — написал Ламанна в X.

Дефект, встроенный в исправление для серверов сетевого шлюза, остался невыявленным во время нагрузочного тестирования, поскольку тесты делались на более слабом оборудовании, тогда как проблема затрагивала новые машины с большим числом ядер. Около 15 часов до сбоя трафик Teams переместился с альтернативного шлюза на основной шлюз, который также обслуживает Exchange Online, увеличив нагрузку и изменив шаблоны трафика. В то же время примерно 14 % ёмкости шлюза уже была отключена из-за несвязанной проблемы.

Сочетание повышенного трафика и уменьшенной ёмкости перегрузило серверы, вызвав накопление запросов до тех пор, пока серверы не перестали отвечать в часы пикового трафика в США. Система управления трафиком Microsoft перенаправила пользователей на оставшиеся работающие серверы, что ещё более нагрузило их и привело к каскадному отказу всей группы.

"Когда серверы теряют соединение, наши системы управления трафиком автоматически перенаправляют пользователей к другим здоровым конечным точкам. Это происходит часто и критично для избежания любых перебоев... Однако перенаправленный трафик увеличил вероятность возникновения той же проблемы на оставшихся конечных точках," — объяснил Ламанна.

Механизмы защиты, предназначенные для изоляции частей шлюза, не сработали, позволив сбою распространиться по всему миру. Пока такие сервисы, как Teams, OneDrive, SharePoint и офисные приложения, были восстановлены ранее за счёт перехода от неисправного шлюза, Exchange Online не мог быть переключён и оставался затронутым. Восстановление замедлилось, потому что серверы, вновь введённые в работу, сразу же были перегружены накопившимся трафиком.

Позже инженеры развернули обновление, чтобы откатить код, выводя серверы из эксплуатации партиями, применяя исправление и постепенно восстанавливая сервис. Ламанна сказал, что Microsoft выпустит подробный пост-инцидентный обзор позже на этой неделе.

Сбой затронул индийские авиакомпании, включая IndiGo, Air India и Akasa Air, которые сообщили о перебоях в поддержке клиентов по электронной почте, а также финансовые компании, которым было трудно получить доступ к исследовательским отчётам и клиентской корреспонденции. На пике инцидент породил более 130 000 сообщений о проблемах с Outlook на Downdetector, затронув пользователей в 72-74 странах.

Источник

Telegraph India

Продолжайте читать — бесплатно

Создайте бесплатный аккаунт — и будьте в курсе своих тем. Карта не нужна.