OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
sbg / pcc
Incident Report for Network & Infrastructure
Resolved
Nous constatons des pertes de connectivité vers les hosts pcc sbg. Nous investiguons.

Update(s):

Date: 2015-10-15 11:11:10 UTC
Nous ne constatons plus de violate du COPP sur le n7.

Date: 2015-10-15 11:08:48 UTC
Nous avons trouvé la source des ARP importants. Le problème est désormais résolu.

Date: 2015-10-15 09:17:46 UTC
Nous avons encore augmenté les valeurs du COPP pour fixer et limiter les impacts. Nous cherchons la cause de ces ARP importants.

Date: 2015-10-15 08:33:15 UTC
Le problème d'ARP / COPP se reproduit ce matin. Nous continuons d'investiguer.

Date: 2015-10-14 22:27:46 UTC
Après customisation du COPP, les instabilités se résorbent. Une seule IP est identifiée comme non pingable suite à nos tests. Nous monitorons et fermerons la tache une fois confirmation du fix définitif.



Date: 2015-10-14 22:03:16 UTC
Un nombre de requêtes ARP a rendu l'infrastructure instable, déclenchant le COPP sur les n7, gateways de l'infrastructure PCC.

Le COPP déclenché empêche les machines de récupérer certains @MAC, entrainant de l'ARP en cascade qui déclenche de nouveau le COPP sur les gateways.

Nous tentons de customiser le COPP appliqué au n7 pour sortir de cet état.

Date: 2015-10-14 20:00:39 UTC
Nous ouvrons un case en P1 chez le constructeur afin d'obtenir une expertise sur cet incident.

Date: 2015-10-14 19:43:48 UTC
Nous sommes toujours en cours d'investigation, les process ARP incohérents engendrent des impossibilités de pinguer certaines @MAC.

Date: 2015-10-14 17:50:18 UTC
La situation semble se stabiliser, nous ne connaissons pas encore les raisons du problème, mis à part une possible attaque sur un VLAN spécifique, que nous avons shutté.

Date: 2015-10-14 17:29:00 UTC
Nous avons trouvé des paquets qui sont remontées au CPU et provoquent des impacts sur le CPU des n7 de PCC et les 6k de PCC. Nous avons forcée l'IP sous VAC et vérifions que cela fixe notre problème.
Posted Oct 14, 2015 - 17:17 UTC
This incident affected: Infrastructure || SBG (SBG1, SBG3, SBG4).