Acceleration is disabled.
Incident Report for Fasterize
Postmortem

Description de l'incident

L’incident suivant est relatif à une boucle infinie sur notre plateforme suite à un mauvais paramétrage de configuration.

Impacts

Forts ralentissements des sites clients à cause de la saturation de la plateforme.Timeline

Début de l’incident : 17h08

Fin de l’incident: 17h40

Faits et Timeline

17h08-17h43 : Plusieurs perturbations sur la plateforme ont eu lieu à un intervalle d’environ 10 minutes. Chaque perturbation a duré environ 180 secondes.

17h14 : Première alerte en interne émise concernant le problème.

17h27 : Identification de l’origine de l’incident par l’équipe. Mise en place directement d’une réunion d’urgence avec l’équipe technique.

17h31 : Premières actions correctives pour mitiger le problème. 

17h35 : Mise à jour du statut public de la plateforme (statuspage.io). 

17h40 : Résolution du problème. 

Métriques

  • Niveaux de sévérité de l'incident :

    • Sévérité 2 : dégradation du site, problème de performance et/ou feature cassée avec difficulté de contourner impactant un nombre significatif d'utilisateur
  • Temps de détection : 6 minutes

  • Temps de résolution : 32 minutes

Analyse

Une configuration a été incorrectement paramétrée au niveau de l’origine. L’origine de la configuration pointait sur Fasterize au lieu de pointer sur l’hébergement. La sécurité contre les boucles infinies présentes au niveau de la plateforme n’a pas fonctionné. Cela a conduit à saturer la plateforme et à produire des temps de réponse très dégradés.

La détection automatique de la stabilité de la plateforme a détecté à plusieurs reprises les indisponibilités. Cependant, ces instabilités étaient déclenchées à intervalle régulier. Ainsi, les sites web ont été routés vers l’origine puis de nouveau routés vers Fasterize à la fin des différentes boucles.

Plan d'actions

Court terme : 

  • Correction de l’API pour mieux valider l’origine et ainsi éviter le cas d’une origine pointant vers Fasterize
  • Correction de la détection des boucles infinies sur le chemin de la requête

Moyen terme : 

  • Amélioration du système de protection de la plateforme via un système de rate limit.
Posted Feb 17, 2023 - 18:32 CET

Resolved
This incident has been resolved at 17:42. We will provide a post mortem tomorrow (16/02/2023).
Posted Feb 16, 2023 - 18:00 CET
Monitoring
The issue is identified. It was related to an attack that has been mitigated.
Posted Feb 16, 2023 - 17:49 CET
Investigating
We currently have some issues on our european infrastructure. Being fixed. Speeding-up is disabled but trafic is ok.
Posted Feb 16, 2023 - 17:12 CET
This incident affected: Acceleration.