Intermittent errors 502 emitted by KeyCDN

Incident Report for Fasterize

Postmortem

Description de l'incident

Le mardi 28 janvier 2020, l’un de nos CDN partenaires KeyCDN a émis des erreurs 502 entre 13h40 à 15h05, suite à l’indisponibilité d’un des serveurs de leur POP à Paris.

L’incident a concerné une petite partie du trafic, la majorité étant routée sur un autre CDN et seul un serveur étant en erreur.

KeyCDN nous a bien confirmé l’incident chez eux par mail.

Cela n’a pas impacté les clients ayant migré sur le CDN d’Amazon Cloudfront.

Plan d'actions

Court terme

Basculer au plus vite les derniers clients sur notre nouvelle infrastructure
Mettre à jour la liste de diffusion sur status.fasterize.com pour ne pas avoir de clients qui ne soient pas notifiés

Moyen terme

Pouvoir désactiver simplement un CDN globalement pour ne pas avoir à agir client par client (config par config)
Modifier automatiquement les messages / signatures du support pour signaler l’incident

Posted Jan 29, 2020 - 12:49 CET

Resolved

KeyCDN has taken a problematic edge server out of production for further analysis.
We don't see any 502 errors since 15h05.
We replugged unplugged websites on KeyCDN.

Posted Jan 28, 2020 - 15:45 CET

Monitoring

We unplugged KeyCDN while waiting for a complete resolution.

Posted Jan 28, 2020 - 15:04 CET

Investigating

We are currently investigating errors 502 emitted by KeyCDN.
We already ask to their support more details.
The new platform AWS euwest1 is not impacted by this incident.

Posted Jan 28, 2020 - 14:43 CET

This incident affected: Acceleration.