OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
rf-1/2/3/4/5/6-a1
Incident Report for Network & Infrastructure
Resolved
Les 6 route refelector ont redémarrés.

Last reload reason: Critical software exception, check bootflash:crashinfo_RP_00_00_20130722-231203-UTC

Update(s):

Date: 2013-07-22 23:47:49 UTC
La semaine passée nous avons mis a jour les équipements
réseau ADVA (le reseau optique de NRA a Lille). Lorsque
le premier équipement ADVA est revenu il a envoie un dead
packet OSPF qui fait planter 7 routeurs l'un après l'autre
sur la backbone. Les Route Reflector basés sur les Cisco
ASR1K ont été particulièrement touché: l'ensemble de 6
routeurs ont planté durant 3-8 minutes ce qui a provoqué
la coupure des annonces BGP. Le temps de résolution du
problème on a renforcé la manière d'annoncer nos routes.

On a remonté le bug chez Cisco et ils ont trouve que
c'est bien la nouvelle version d'ADVA qui tue les routeurs
ASR1K et 6K5 de Cisco à cause d'un packet sur la couche OSPF.

On devait donc isoler le réseau d'ADVA du reste de la backbone
et nous avons préféré de le faire la nuit. Nous changeons la
configuration de l'OSPF vers BGP. Mais le risque d'un même
plantage en série a été très fort. Et ça n'a pas loupé: 9
routeurs en panne, reboot direct, donc à nouveau tous les 6 RR:
les 3 de l'Europe et les 3 des USA.

Maintenant on est isole des ADVA, et donc ça va plus se reproduire.

Les routeurs impactes:
ASR1K
6K5
ils ont le même code OSPF donc le même
bug

Les routeurs non impactes
ASR9K
N7K
Ils ont un nouveau code OSPF donc pas
de bug.

Cisco est au courant et travaille sur le correctif.


Date: 2013-07-22 23:32:26 UTC
Nous isolons l'ensemble des équipements adva du réseau.
Posted Jul 22, 2013 - 23:31 UTC