Get webhook notifications whenever Network & Infrastructure creates an incident, updates an incident, resolves an incident or changes a component status.
Last reload reason: Critical software exception, check bootflash:crashinfo_RP_00_00_20130722-231203-UTC
Update(s):
Date: 2013-07-22 23:47:49 UTC La semaine passée nous avons mis a jour les équipements
réseau ADVA (le reseau optique de NRA a Lille). Lorsque
le premier équipement ADVA est revenu il a envoie un dead
packet OSPF qui fait planter 7 routeurs l'un après l'autre
sur la backbone. Les Route Reflector basés sur les Cisco
ASR1K ont été particulièrement touché: l'ensemble de 6
routeurs ont planté durant 3-8 minutes ce qui a provoqué
la coupure des annonces BGP. Le temps de résolution du
problème on a renforcé la manière d'annoncer nos routes.
On a remonté le bug chez Cisco et ils ont trouve que
c'est bien la nouvelle version d'ADVA qui tue les routeurs
ASR1K et 6K5 de Cisco à cause d'un packet sur la couche OSPF.
On devait donc isoler le réseau d'ADVA du reste de la backbone
et nous avons préféré de le faire la nuit. Nous changeons la
configuration de l'OSPF vers BGP. Mais le risque d'un même
plantage en série a été très fort. Et ça n'a pas loupé: 9
routeurs en panne, reboot direct, donc à nouveau tous les 6 RR:
les 3 de l'Europe et les 3 des USA.
Maintenant on est isole des ADVA, et donc ça va plus se reproduire.
Les routeurs impactes:
ASR1K
6K5
ils ont le même code OSPF donc le même
bug
Les routeurs non impactes
ASR9K
N7K
Ils ont un nouveau code OSPF donc pas
de bug.
Cisco est au courant et travaille sur le correctif.
Date: 2013-07-22 23:32:26 UTC Nous isolons l'ensemble des équipements adva du réseau.