OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
rbx-46
Incident Report for Network & Infrastructure
Resolved
L'une des 2 cartes ne fonctionne pas correctement. Nous avons déjà basculé
de la #2 vers #1 et le routeur a rebasculé. Or sur la #2 les clients nous
remontent les problemes de bande passante.

May 11 02:32:00 rbx-46-c1.routers.ovh.net 2010 May 11 00:31:45 %SYS-5-SUP_MODSBY:Module 2 is in standby mode
May 11 02:32:27 rbx-46-c1.routers.ovh.net 2010 May 11 00:32:12 %SYS-5-PORT_SSUPOK:Ports on standby supervisor (module 2) are up
May 11 02:37:32 rbx-46-c1.routers.ovh.net 2010 May 11 00:37:17 %SYS-5-SUP_MODSBY:Module 1 is in standby mode
May 11 02:38:55 rbx-46-c1.routers.ovh.net 2010 May 11 00:38:40 %SYS-5-PORT_SSUPOK:Ports on standby supervisor (module 1) are up


Update(s):

Date: 2010-05-14 13:40:42 UTC
... 1 chassis, 5 cartes de routage, 1 carte 6148A plus tard ...

Le routeur est up à nouveau.

Yeah ! Parfois il vaut mieux reflechir un peu ;)

Date: 2010-05-14 12:51:34 UTC
On va pas attendre la nuit pour faire cette intervention.
Le but est de recuperer le routeur en état de fonctionnement.

On va intervenir dans 10 minutes.

Date: 2010-05-14 11:14:13 UTC
Bon.

2 solutions:
- on prepare un nouveau routeur totalement nouveau et on remplace tout
- on va bouger le routeur de baie, car c'est une place maudite

On va commencer par le n°1.

Date: 2010-05-12 21:12:53 UTC
nous avons remplacé le chassis. ça plante toujours.
remplacé une autre carte. pareil.
sans aucune carte. pareil

le routeur ne veut pas fonctioner avec 2 cartes de
routage et ceci malgré le remplacement de toutes
les cartes ...

ouais ...

le routeur est stable pour l'instant. il fonctionne
avec 1 seule carte de routage.

bon ...

il faut reflechir.

Date: 2010-05-12 20:05:21 UTC
on remplace le chassis

le retour à la norme dans 30 minutes.

Date: 2010-05-12 19:55:23 UTC
on change la carte #1.
la carte #2 a planté 2 fois. elle boot.

Date: 2010-05-12 19:48:31 UTC
2010 May 12 19:45:01 %SYS-3-MOD_PORTINTFOUTOFSYNC:Port Interface not
sbifSyncOnSendTwoSeqZeroPkts failed
PANIC: Stack in process \"SysLogTask\" whose ID is 50 is overflown
System reset on software watchdog is disabled
InterruptStatus = 0x00000001 last_timeout_func = 0x80972dc0
Check for nested intrrupt
sp is 0x81801ea0

Breakpoint Exception occurred on May 12 2010 19:45:01
Software version = 8.4(4)
Process ID #32, Name = SysLogTask
*** Cache Error Exception ***
Cache Err Reg = 0xa0001ce1
data reference, primary cache, data field error , error not on SysAD Bus
PC = 0xbfc09b50, Cause = 0x80000400, Status Reg = 0x87d28f8e

*** Cache Error Exception ***
Cache Err Reg = 0xa0001b91
data reference, primary cache, data field error , error not on SysAD Bus
PC = 0xbfc09b50, Cause = 0x400, Status Reg = 0x87d28f8e

*** Cache Error Exception ***
Cache Err Reg = 0xa0001a41
data reference, primary cache, data field error , error not on SysAD Bus
PC = 0xbfc09b50, Cause = 0x400, Status Reg = 0x87d28f8e

*** Cache Error Exception ***
Cache Err Reg = 0xa00018f1
data reference, primary cache, data field error , error not on SysAD Bus
PC = 0xbfc09b50, Cause = 0x400, Status Reg = 0x87d28f8e

*** Cache Error Exception ***
Cache Err Reg = 0xa00017a1
data reference, primary cache, data field error , error not on SysAD Bus
PC = 0xbfc09b50, Cause = 0x400, Status Reg = 0x87d28f8e

*** Cache Error Exception ***
Cache Err Reg = 0xa0001651
data reference, primary cache, data field error , error not on SysAD Bus
PC = 0xbfc09b50, Cause = 0x400, Status Reg = 0x87d28f8e

*** Cache Error Exception ***
Cache Err Reg = 0xa0001501
data reference, primary cache, data field error , error not on SysAD Bus
PC = 0xbfc09b50, Cause = 0x400, Status Reg = 0x87d28f8e

*** Cache Error Exception ***
Cache Err Reg = 0xa00013b1
data reference
*** Watch Dog Timeout ***
PC = 0xbfc084f8, SP = 0x81801020 frame = 0xa0005ea8
Cygnus_ResetSystem
InterruptStatus = 0x00000001
Total download memory used = 3035796
crash info filename is bootflash:crashinfo_100512-194509
Opening crash info file bootflash:crashinfo_100512-194509


Date: 2010-05-12 18:45:22 UTC
les configurations se sont effacés. à force d'ajouter et d'enlever
les cartes qui ne voulaient pas demarrer le routeur a planté. on
a dû couper electriquement.

les configurations ont été remise. tout est up.

mais je le sens pas. ça va replanter. soit les 2 cartes ont été
morte, soit le chassis est mort. je vais faire un failover dans
la nuit.

Date: 2010-05-12 18:26:33 UTC
pff ...

Date: 2010-05-12 17:49:55 UTC
routeur planté

Date: 2010-05-12 17:13:14 UTC
On change la #2
Posted May 12, 2010 - 17:13 UTC