OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
ams-1-6k carte 3
Incident Report for Network & Infrastructure
Resolved
L'un des 10G d'un de nos fournisseurs de transit (TATA)
flap depuis 14h00 environ. La session BGP se coupe puis
se remet UP, puis se coupe puis se remet UP. Ceci surcharge
beaucoup le routeur ams-1-6k.

Nous venons de couper l'une des 2 sessions avec TATA sur
Amsterdam. L'autre 10G sur Amsterdam avec TATA n'a pas de
probleme.

Update(s):

Date: 2009-08-22 21:37:42 UTC
Les 4 10G impacté étaient:

ams-1-6k-gsw#sh inter statu | i Te3/
Te3/1 var-1-6k:Te1/4 connected routed full 10G 10Gbase-LR
Te3/2 vss-1-6k:t1/2/2 connected routed full 10G 10Gbase-LR
Te3/3 teleglobe_1 connected routed full 10G 10Gbase-ER
Te3/4 amsix1 connected routed full 10G 10Gbase-LR


Date: 2009-08-22 21:36:59 UTC
Suite au redemarrage de la carte 3 le probleme est fixé.

En regardant les logs, la carte 3 n'a pas donné de signe
de problemes. Pourtant elle a commencé à mal router les
packets vers 14h00 et par periode de 1h puis à nouveau
okey pendant 30 minutes puis à nouveau de probleme pendant
1h. Le routeur aurait dû redemarrer la carte lui-même.

C'est un type de probleme pas évident à detecter et fixer
rapidement. Sur http://smokeping.ovh.net on ne voit aucune
degradation dans le service.

On doit reflechir comme detecter de probleme de routage
interne sur ce type de probleme où seulement 4x 10G d'un
routeur ne fonctionnent pas correctement.

Désolé pour le probleme.

Date: 2009-08-22 20:58:58 UTC
Le probleme n'est pas fixé. Apparament le trafic vers var-1-6k est
aussi impacté sur l'un de 2 10G. Le 10G impacté vers var-1-6k est
sur la même carte que TATA. On redemarre la carte 3.

Date: 2009-08-22 20:24:08 UTC
fixé.

On regarde avec TATA pour le 10G à Amsterdam.

Date: 2009-08-22 19:59:51 UTC
Le routage est inversé:
on utilise 2x10G de TATA à Londres au lieu d'Amsterdam
et on utilise 2x10G de GBLX à Amsterdam au lieu de 3x10G à Londres

Date: 2009-08-22 19:40:37 UTC
Le 10G restant de TATA sur Amsterdam sature.
On va inverser le routage entre GBLX/TATA et Londres/Amsterdam.

Date: 2009-08-22 19:35:23 UTC
ams-1-6k-gsw#ping 94.23.122.81

Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 94.23.122.81, timeout is 2 seconds:
.....
ams-1-6k-gsw(config-router)#neighbor 94.23.122.81 shutdown

Le router de TATA est mort. On les contacte pour savoir ce qu'il
se passe.
Posted Aug 22, 2009 - 19:23 UTC