La panne mondiale de Microsoft 365 a été causée par un bug qui sommeillait depuis juillet dans une passerelle réseau de Microsoft. La charge supplémentaire due à Teams et la baisse du nombre de serveurs disponibles ont fait apparaître la faille.
La semaine dernière, Microsoft a été confronté à une panne mondiale qui a rendu Outlook, Teams et Copilot indisponibles ou partiellement disponibles pendant près de 24 heures, les 12 et 13 novembre. La panne a débuté le jeudi 12 novembre à 17 h 17 CET sur Exchange Online. Outlook, Teams, Copilot Chat, Intune et Purview ont de ce fait fonctionné mal ou pas du tout pendant des heures, et le rétablissement s’est révélé très laborieux.
Microsoft partage une première analyse de la panne via le tableau de bord d’administration de Microsoft 365. Pour ceux qui n’y ont pas accès mais veulent savoir ce qui s’est passé, Charles Lamanna, executive vice president Copilot, Agents & Platform chez Microsoft, en donne une version abrégée via X, accompagnée d’excuses sincères au nom de son employeur.
Un bug qui sommeillait depuis juillet
Selon Lamanna, trois facteurs se sont conjugués. Le premier est une faille latente dans les serveurs de la passerelle réseau, la couche par laquelle passe le trafic vers de nombreux services Microsoft 365. Sous une certaine charge, une lock contention est apparue dans un processus interne : des threads restent alors en attente du même verrou. Les serveurs ont été surchargés et ont cessé de répondre.
La faille est arrivée avec une modification que Microsoft avait conçue spécifiquement pour ces serveurs de passerelle. Selon Lamanna, ni la faille ni la modification ne concernent d’autres environnements Windows. Microsoft a déployé la modification par phases à partir de juillet, conformément à sa procédure de safe deployment. Après quelques semaines, elle tournait partout dans le monde, et ce pendant plus de trois mois sans problème.
Les tests de charge habituels n’ont pas détecté la faille, car le laboratoire de test utilise un autre mélange de trafic et de matériel. Le problème s’aggrave sur les serveurs plus récents dotés de plus de cœurs. Les tests ont surtout été exécutés sur du matériel plus faible, avec moins de cœurs.
Trafic Teams et serveurs manquants
Microsoft 365 dispose de deux passerelles réseau indépendantes, de conception différente, afin que les services puissent basculer de l’une à l’autre en cas de problème. Environ quinze heures avant la panne, Teams est passé de la passerelle alternative à la passerelle principale, qui dessert aussi Exchange Online. Cela a augmenté la charge et modifié le schéma de trafic. Selon Lamanna, un tel basculement fait partie du fonctionnement normal.
Au même moment, près de quatorze pour cent de la capacité en serveurs de la passerelle était hors service, en raison d’un problème distinct survenu la veille. En soi, cela n’avait pas de conséquences, selon Lamanna, car le service disposait d’assez de capacité de réserve.
La charge accrue et la capacité réduite ont, ensemble, fait soudainement resurgir le bug de juillet, pendant les heures les plus chargées aux États-Unis. Les requêtes se sont accumulées jusqu’à ce que les serveurs ne répondent plus.
Réaction en chaîne dans tout le parc de serveurs
Lorsqu’un serveur tombe, la gestion du trafic de Microsoft redirige automatiquement les utilisateurs vers des endpoints sains. Les serveurs restants ont ainsi reçu davantage de trafic et se sont à leur tour heurtés à la même faille. En moins de deux heures, la faille est apparue dans l’ensemble du parc de serveurs. Au plus fort de l’incident, plus de 80 pour cent des serveurs ne répondaient plus.
La passerelle se compose de milliers d’unités de capacité, des blocs de capacité dotés de leur propre matériel et de leur propre infrastructure réseau, répartis par région. Les séparations entre ces partitions sont censées stopper toute réaction en chaîne. À cause d’un problème distinct, elles ne l’ont pas fait cette fois. L’analyse ne précise pas de quel problème il s’agit.
Teams, OneDrive, SharePoint et les applications Office ont pu basculer vers l’autre passerelle et ont ainsi été rétablis plus rapidement. Les chats et les réunions dans Teams ont fonctionné pour la plupart des utilisateurs la majeure partie du temps. Exchange Online ne peut pas basculer vers l’autre passerelle.
Un rétablissement laborieux
Le rétablissement a été loin d’être fluide. Les serveurs qui revenaient en ligne étaient aussitôt submergés par le trafic en attente et tombaient de nouveau. Les processus de rétablissement automatisés de Microsoft ne sont pas conçus pour une situation où autant de serveurs cessent de répondre en même temps. Comme le bug était en production depuis des mois, un rollback n’a pas non plus offert de solution.
Lorsqu’il s’est avéré que le bug était la cause, les ingénieurs ont développé une mise à jour qui ramenait le chemin de code à la dernière version fonctionnant correctement. Ils ont à chaque fois retiré des groupes de serveurs du service, installé la mise à jour et redémarré les machines avant de les remettre en service. Cela s’est fait par grands blocs, parfois plus de la moitié d’une région à la fois.
Microsoft promet un rapport d’incident d’ici la fin de la semaine. L’incident fera réfléchir de nombreuses entreprises à leur dépendance vis-à-vis de Microsoft. Les employés dont la journée de travail se déroule en grande partie dans Teams et Outlook étaient virtuellement au chômage. Pour une journée, cela donne peut-être des mèmes amusants, mais si de telles pannes durent plus longtemps ou se répètent, la productivité des entreprises peut en souffrir gravement.
