$ 45.34USD
€ 49.86EUR


Microsoft объяснила причину глобального сбоя: ошибка в сетевой инфраструктуре оставалась незамеченной с июля

Microsoft объяснила причину глобального сбоя: ошибка в сетевой инфраструктуре оставалась незамеченной с июля
Microsoft раскрыла причины масштабного сбоя, который в ноябре нарушил работу Outlook, Exchange Online, Microsoft Teams и других облачных сервисов компании. Согласно предварительному отчету, проблема возникла из-за программной ошибки, появившейся еще в июле 2026 года. Более трех месяцев она не проявлялась, пока изменение сетевой нагрузки и сокращение доступной мощности серверов не привели к цепной реакции отказов.

О результатах расследования компания сообщила 16 ноября. Как пишет XDA Developers, сбой оказался следствием сразу нескольких факторов, а не одной неисправности. В Microsoft признали, что существующие испытания не выявили скрытый дефект, поскольку тестовая инфраструктура отличалась от реальных серверов, обслуживающих пользователей.

Ошибка появилась еще в июле, но проявилась только в ноябре

Первопричиной инцидента стал дефект внутреннего программного процесса, связанный с конкуренцией за общие ресурсы (lock contention). Он затрагивал сетевые шлюзы Microsoft 365 — инфраструктуру, через которую проходит значительная часть запросов к облачным сервисам компании.

Изменение, содержавшее проблемный код, начали распространять в июле. В течение следующих трех месяцев оно постепенно внедрялось в инфраструктуру по всему миру, но заметных сбоев не вызывало.

Проблема заключалась в том, что при определенных условиях внутренний процесс начинал чрезмерно потреблять ресурсы процессора и памяти. В результате серверы переставали нормально обрабатывать запросы и становились недоступными.

Microsoft объяснила, почему дефект не обнаружили во время предварительного тестирования:

  • Тестовые стенды использовали другой состав оборудования и отличались от производственной инфраструктуры.
  • В лабораториях чаще проверяли серверы с меньшим количеством процессорных ядер.
  • На более современных и мощных машинах с большим количеством ядер проблема конкуренции за ресурсы проявлялась сильнее.
  • Нагрузка и сочетание типов трафика в тестовой среде не воспроизводили реальные условия эксплуатации.

Таким образом, более производительное серверное оборудование неожиданно стало одним из факторов, усиливших последствия программной ошибки. Это особенно показательно для инфраструктуры такого масштаба: высокая вычислительная мощность сама по себе не гарантирует устойчивость системы, если программное обеспечение неправильно взаимодействует с аппаратными ресурсами.

Почему сбой распространился на другие сервисы Microsoft

Вторым фактором стала перенаправленная нагрузка. В Microsoft 365 используются две независимые сетевые системы шлюзов, которые помогают сохранять доступность сервисов при технических проблемах. Однако примерно за 15 часов до основного инцидента трафик Teams переключили с резервного шлюза на основной, который также обслуживает Exchange Online.

Такое переключение было частью штатной схемы обеспечения отказоустойчивости. Но оно увеличило нагрузку на основной шлюз и изменило характер проходящего через него трафика.

Одновременно инфраструктура столкнулась с еще одной проблемой: почти 14% серверных мощностей сетевого шлюза временно не работали из-за отдельного инцидента, произошедшего накануне. Microsoft рассчитывала восстановить их в рамках обычных процедур обслуживания, однако к моменту сбоя резерв доступных мощностей оказался меньше.

В результате сложились три обстоятельства:

  • скрытая программная ошибка, существовавшая с июля;
  • увеличение нагрузки после переключения трафика Teams на основной шлюз;
  • временное сокращение доступной серверной мощности почти на 14%.

По отдельности эти факторы не обязательно привели бы к масштабному отказу. Но вместе они создали условия, при которых серверы начали терять работоспособность. Особенно опасным оказался момент совпадения повышенной нагрузки с пиковым использованием сервисов в США.

Цепная реакция вывела из строя более 80% серверов

Когда первые серверы сетевого шлюза перестали отвечать, система управления трафиком начала автоматически перенаправлять запросы на другие доступные узлы. Обычно этот механизм помогает избежать перебоев, однако в данном случае он усугубил ситуацию.

На оставшиеся работоспособные серверы поступал дополнительный трафик, из-за чего они сталкивались с той же программной ошибкой. Постепенно отказ распространялся по всей инфраструктуре. По данным Microsoft, менее чем за два часа проблема охватила серверный парк, а в наиболее тяжелый момент не отвечали более 80% серверов затронутой инфраструктуры шлюзов.

Автоматическое перераспределение нагрузки, которое обычно обеспечивает отказоустойчивость, фактически ускорило распространение сбоя. Система продолжала направлять запросы на доступные узлы, но те также оказывались перегруженными.

Проблемы затронули несколько важных сервисов Microsoft:

  • Outlook и Exchange Online — пользователи сталкивались с перебоями при доступе к электронной почте и обработке сообщений.
  • Microsoft Teams — возникали проблемы с доступом к сервису и его сетевой инфраструктурой.
  • Другие приложения Microsoft 365 — нарушения работы общей инфраструктуры шлюзов повлияли на доступность облачных сервисов.

Почему Microsoft не смогла быстро восстановить работу сервисов

Восстановление оказалось сложнее обычного перезапуска серверов. Когда инженеры возвращали отдельные узлы в работу, их сразу атаковал накопившийся поток ожидающих запросов. В результате серверы вновь перегружались и переставали отвечать.

Дополнительную сложность создал возраст самой ошибки. Поскольку проблемное изменение внедрили еще в июле, стандартные механизмы отката обновлений, поэтапного развертывания и отключения отдельных функций не позволяли быстро вернуть инфраструктуру в работоспособное состояние.

Microsoft пришлось постепенно устранять дефект и возвращать серверы в строй. Компания также использовала дополнительные меры для перераспределения нагрузки и восстановления доступности сервисов.

В ходе устранения последствий Microsoft предприняла несколько действий:

  • исправила программный дефект, вызывавший чрезмерное потребление ресурсов;
  • постепенно возвращала серверы в рабочее состояние;
  • увеличила доступную инфраструктурную мощность;
  • добавила дополнительные ограничения и механизмы контроля распределения трафика;
  • увеличила время ожидания доставки затронутых электронных писем, чтобы задержанные сообщения не возвращались отправителям как недоставленные.

По предварительным данным расследования, основной инцидент продолжался с 12 ноября 16:20 UTC до 13 ноября 16:10 UTC — почти сутки. Дополнительный мониторинг затронутых систем продолжался до 14 ноября.

Microsoft обещает опубликовать окончательный отчет

Компания признала, что произошедший сбой выявил недостатки в тестировании программных изменений и механизмах восстановления инфраструктуры. Особенно показательно, что проблема оставалась незамеченной несколько месяцев, несмотря на постепенное развертывание обновления по всему миру.

Предварительный отчет также оставляет вопросы относительно работы механизмов изоляции отдельных регионов и причин, по которым они не смогли ограничить распространение отказа. Дополнительные подробности Microsoft обещает предоставить в окончательном отчете, публикация которого ожидается 20 ноября 2026 года.

Для пользователей и организаций этот инцидент стал напоминанием о рисках зависимости от облачной инфраструктуры одного поставщика. Даже крупные технологические компании с резервными серверами и автоматическими системами восстановления не застрахованы от сочетания нескольких технических ошибок.

Для украинских организаций, использующих Microsoft 365, Outlook и Teams, ситуация также имеет практическое значение. Резервные каналы связи, локальные копии важных документов и заранее определенный порядок работы при недоступности облачных сервисов помогают снизить последствия подобных инцидентов.

Главный урок сбоя заключается в том, что отказоустойчивость зависит не только от количества резервных серверов. Не менее важны реалистичное тестирование на оборудовании, соответствующем производственной инфраструктуре, корректное распределение нагрузки и способность изолировать неисправные компоненты до того, как локальная проблема превратится в глобальный отказ.

Источник: xda-developers