rssLink RSS for all categories
 
icon_red
icon_green
icon_blue
icon_red
icon_blue
icon_green
icon_green
icon_red
icon_green
icon_red
icon_green
icon_green
icon_green
icon_red
icon_green
icon_orange
icon_green
icon_blue
icon_red
icon_red
icon_green
icon_green
icon_blue
icon_blue
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_red
icon_red
 

FS#9003 — rf-1/2/3/4/5/6-a1

Attached to Project— Reseau Internet et Baies
Incident
Tout le réseau
CLOSED
100%
Les 6 route refelector ont redémarrés.

Last reload reason: Critical software exception, check bootflash:crashinfo_RP_00_00_20130722-231203-UTC
Date:  Wednesday, 31 July 2013, 13:14PM
Reason for closing:  Done
Comment by OVH - Tuesday, 23 July 2013, 01:32AM

Nous isolons l'ensemble des équipements adva du réseau.


Comment by OVH - Tuesday, 23 July 2013, 01:47AM

La semaine passée nous avons mis a jour les équipements
réseau ADVA (le reseau optique de NRA a Lille). Lorsque
le premier équipement ADVA est revenu il a envoie un dead
packet OSPF qui fait planter 7 routeurs l'un après l'autre
sur la backbone. Les Route Reflector basés sur les Cisco
ASR1K ont été particulièrement touché: l'ensemble de 6
routeurs ont planté durant 3-8 minutes ce qui a provoqué
la coupure des annonces BGP. Le temps de résolution du
problème on a renforcé la manière d'annoncer nos routes.

On a remonté le bug chez Cisco et ils ont trouve que
c'est bien la nouvelle version d'ADVA qui tue les routeurs
ASR1K et 6K5 de Cisco à cause d'un packet sur la couche OSPF.

On devait donc isoler le réseau d'ADVA du reste de la backbone
et nous avons préféré de le faire la nuit. Nous changeons la
configuration de l'OSPF vers BGP. Mais le risque d'un même
plantage en série a été très fort. Et ça n'a pas loupé: 9
routeurs en panne, reboot direct, donc à nouveau tous les 6 RR:
les 3 de l'Europe et les 3 des USA.

Maintenant on est isole des ADVA, et donc ça va plus se reproduire.

Les routeurs impactes:
ASR1K
6K5
ils ont le même code OSPF donc le même
bug

Les routeurs non impactes
ASR9K
N7K
Ils ont un nouveau code OSPF donc pas
de bug.

Cisco est au courant et travaille sur le correctif.