L’incident suivant est relatif à une boucle infinie sur notre plateforme suite à un mauvais paramétrage de configuration.
Impacts
Forts ralentissements des sites clients à cause de la saturation de la plateforme.Timeline
Début de l’incident : 17h08
Fin de l’incident: 17h40
17h08-17h43 : Plusieurs perturbations sur la plateforme ont eu lieu à un intervalle d’environ 10 minutes. Chaque perturbation a duré environ 180 secondes.
17h14 : Première alerte en interne émise concernant le problème.
17h27 : Identification de l’origine de l’incident par l’équipe. Mise en place directement d’une réunion d’urgence avec l’équipe technique.
17h31 : Premières actions correctives pour mitiger le problème.
17h35 : Mise à jour du statut public de la plateforme (statuspage.io).
17h40 : Résolution du problème.
Niveaux de sévérité de l'incident :
Temps de détection : 6 minutes
Temps de résolution : 32 minutes
Une configuration a été incorrectement paramétrée au niveau de l’origine. L’origine de la configuration pointait sur Fasterize au lieu de pointer sur l’hébergement. La sécurité contre les boucles infinies présentes au niveau de la plateforme n’a pas fonctionné. Cela a conduit à saturer la plateforme et à produire des temps de réponse très dégradés.
La détection automatique de la stabilité de la plateforme a détecté à plusieurs reprises les indisponibilités. Cependant, ces instabilités étaient déclenchées à intervalle régulier. Ainsi, les sites web ont été routés vers l’origine puis de nouveau routés vers Fasterize à la fin des différentes boucles.
Court terme :
Moyen terme :