Description de l'incident

L’incident suivant est relatif à une boucle infinie sur notre plateforme suite à un mauvais paramétrage de configuration.

Impacts

Forts ralentissements des sites clients à cause de la saturation de la plateforme.Timeline

Début de l’incident : 17h08

Fin de l’incident: 17h40

Faits et Timeline

‌

17h08-17h43 : Plusieurs perturbations sur la plateforme ont eu lieu à un intervalle d’environ 10 minutes. Chaque perturbation a duré environ 180 secondes.

17h14 : Première alerte en interne émise concernant le problème.

17h27 : Identification de l’origine de l’incident par l’équipe. Mise en place directement d’une réunion d’urgence avec l’équipe technique.

17h31 : Premières actions correctives pour mitiger le problème. 

17h35 : Mise à jour du statut public de la plateforme (statuspage.io). 

17h40 : Résolution du problème. 

Métriques

‌

• Niveaux de sévérité de l'incident :

  • Sévérité 2 : dégradation du site, problème de performance et/ou feature cassée avec difficulté de contourner impactant un nombre significatif d'utilisateur

• Temps de détection : 6 minutes

• Temps de résolution : 32 minutes

‌

Analyse

Une configuration a été incorrectement paramétrée au niveau de l’origine. L’origine de la configuration pointait sur Fasterize au lieu de pointer sur l’hébergement. La sécurité contre les boucles infinies présentes au niveau de la plateforme n’a pas fonctionné. Cela a conduit à saturer la plateforme et à produire des temps de réponse très dégradés.

La détection automatique de la stabilité de la plateforme a détecté à plusieurs reprises les indisponibilités. Cependant, ces instabilités étaient déclenchées à intervalle régulier. Ainsi, les sites web ont été routés vers l’origine puis de nouveau routés vers Fasterize à la fin des différentes boucles.

Plan d'actions

‌

Court terme : 

• Correction de l’API pour mieux valider l’origine et ainsi éviter le cas d’une origine pointant vers Fasterize
• Correction de la détection des boucles infinies sur le chemin de la requête

Moyen terme : 

• Amélioration du système de protection de la plateforme via un système de rate limit.