OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
p19-92/93-n6
Scheduled Maintenance
Report for Network & Infrastructure
Completed
Nous allons mettre à jours NXOS ce mardi 8 novembre 2016 entre 22h00 et 06h00 GMT +1 (FR). Aucune interruption de service est prévu durant la mise-à-jours.
Update(s):
Date: 2016-11-11 21:43:15 UTC
Le fex 138 est maintenant redondé. Nous allons planifier une MAJ après l'analyse avec Cisco.
Date: 2016-11-09 08:13:00 UTC
Le fex 138 ne remonte pas, tout les autres sont maintenant redondés.
Date: 2016-11-09 07:55:09 UTC
Les FEXs sont à moitié remontés sur p19-92-n6.
Date: 2016-11-09 07:19:30 UTC
La vPC est remontée sur p19-92-n6, nous allons progressivement reconnecter les FEXs.
Date: 2016-11-09 06:40:54 UTC
Les FEXs sont maintenant dans l'ancienne version (qui tourne sur p19-93).
Nous allons downgrader p19-92 afin de ne pas avoir de différence dans les versions des 2 switchs de la paire.
Une fois que la version sera identique sur les 2 switchs, nous pourrons réintégrer p19-92-n6 dans le vPC.
Date: 2016-11-09 05:57:29 UTC
Nous sommes contraints de redémarrer p19-93-n6...
Reboot en cours.
Date: 2016-11-09 05:15:59 UTC
Les 2 switchs de la paire p19-92-n6 et p19-93-n6 fonctionnent en vPC (virtual Port-Channel) : c'est un protocole permettant d'assurer la redondance.
Lors de l'ISSU, le switch restant actif est informé par son voisin qu'une mise à jour est en cours et met alors certains de ses ports en \"nodUpgrade\" pour éviter tout changement de configuration.
Dans notre cas, p19-92-n6 a crashé durant l'ISSU mais p19-93-n6 pense que l'upgrade est toujours en cours.
Le switch p19-92-n6 a bien été remplacé par un spare, mais nous ne parvenons pas à remonter les ports de contrôle du protocole vPC car ces ports sont en état nodUpgrade sur p19-93-n6.
Nous avons ouvert un case en priorité maximale auprès du constructeur afin de débloquer la situation.
Date: 2016-11-09 00:53:15 UTC
Nous changeons le switch par un spare.
Date: 2016-11-09 00:39:38 UTC
le switch p19-92-n6 reboot en loop,
[ 108.715641] Oops: 0000 [#1] SMP
[ 108.723126] __die: Die type Oops
[ 108.723126] KGDB: Waiting for remote debugger
[ 108.723126] platform_type=3, hwclock time: 00:38:16, 11/09/2016
[ 108.723126] Start register dumping
[ 108.723126]
[ 108.723126] REGISTERS
[ 108.723126] CPU: 5
[ 108.723126] EIP: 60:[] Tainted: P W
[ 108.723126] EFLAGS: 00010086
[ 108.723126] eax: 00000002 ebx: ffffffd8 ecx: 00000000 edx: 804ff88c
[ 108.723126] esi: b4555d2c edi: 804ff580 ebp: b4555d3c esp: b4555cdc
[ 108.723126] ds: 007b es: 007b ss: 0068
[ 108.723126] Process sh (pid: 4410, stackpage=b44aaae0)
[ 108.723126] EIP: get_page_from_freelist+0x1f3/0x3dd
[ 108.723126]
[ 108.723126] Done register dumping
[ 108.723126]
[ 108.723126] REGISTERS
[ 108.723126] CPU: 5
[ 108.723126] EIP: 60:[] Tainted: P W
[ 108.723126] EFLAGS: 00010086
[ 108.723126] eax: 00000002 ebx: ffffffd8 ecx: 00000000 edx: 804ff88c
[ 108.723126] esi: b4555d2c edi: 804ff580 ebp: b4555d3c esp: b4555cdc
[ 108.723126] ds: 007b es: 007b ss: 0068
[ 108.723126] Process sh (pid: 4410, stackpage=b44aaae0)
[ 108.723126] EIP: get_page_from_freelist+0x1f3/0x3dd
[ 108.723126]
[ 108.723126] STACK
[ 108.723126]
Date: 2016-11-09 00:14:21 UTC
p19-92-n6 vien de reboot.
Date: 2016-11-08 22:51:47 UTC
On commence avec le switch A.
Update(s):
Date: 2016-11-11 21:43:15 UTC
Le fex 138 est maintenant redondé. Nous allons planifier une MAJ après l'analyse avec Cisco.
Date: 2016-11-09 08:13:00 UTC
Le fex 138 ne remonte pas, tout les autres sont maintenant redondés.
Date: 2016-11-09 07:55:09 UTC
Les FEXs sont à moitié remontés sur p19-92-n6.
Date: 2016-11-09 07:19:30 UTC
La vPC est remontée sur p19-92-n6, nous allons progressivement reconnecter les FEXs.
Date: 2016-11-09 06:40:54 UTC
Les FEXs sont maintenant dans l'ancienne version (qui tourne sur p19-93).
Nous allons downgrader p19-92 afin de ne pas avoir de différence dans les versions des 2 switchs de la paire.
Une fois que la version sera identique sur les 2 switchs, nous pourrons réintégrer p19-92-n6 dans le vPC.
Date: 2016-11-09 05:57:29 UTC
Nous sommes contraints de redémarrer p19-93-n6...
Reboot en cours.
Date: 2016-11-09 05:15:59 UTC
Les 2 switchs de la paire p19-92-n6 et p19-93-n6 fonctionnent en vPC (virtual Port-Channel) : c'est un protocole permettant d'assurer la redondance.
Lors de l'ISSU, le switch restant actif est informé par son voisin qu'une mise à jour est en cours et met alors certains de ses ports en \"nodUpgrade\" pour éviter tout changement de configuration.
Dans notre cas, p19-92-n6 a crashé durant l'ISSU mais p19-93-n6 pense que l'upgrade est toujours en cours.
Le switch p19-92-n6 a bien été remplacé par un spare, mais nous ne parvenons pas à remonter les ports de contrôle du protocole vPC car ces ports sont en état nodUpgrade sur p19-93-n6.
Nous avons ouvert un case en priorité maximale auprès du constructeur afin de débloquer la situation.
Date: 2016-11-09 00:53:15 UTC
Nous changeons le switch par un spare.
Date: 2016-11-09 00:39:38 UTC
le switch p19-92-n6 reboot en loop,
[ 108.715641] Oops: 0000 [#1] SMP
[ 108.723126] __die: Die type Oops
[ 108.723126] KGDB: Waiting for remote debugger
[ 108.723126] platform_type=3, hwclock time: 00:38:16, 11/09/2016
[ 108.723126] Start register dumping
[ 108.723126]
[ 108.723126] REGISTERS
[ 108.723126] CPU: 5
[ 108.723126] EIP: 60:[] Tainted: P W
[ 108.723126] EFLAGS: 00010086
[ 108.723126] eax: 00000002 ebx: ffffffd8 ecx: 00000000 edx: 804ff88c
[ 108.723126] esi: b4555d2c edi: 804ff580 ebp: b4555d3c esp: b4555cdc
[ 108.723126] ds: 007b es: 007b ss: 0068
[ 108.723126] Process sh (pid: 4410, stackpage=b44aaae0)
[ 108.723126] EIP: get_page_from_freelist+0x1f3/0x3dd
[ 108.723126]
[ 108.723126] Done register dumping
[ 108.723126]
[ 108.723126] REGISTERS
[ 108.723126] CPU: 5
[ 108.723126] EIP: 60:[] Tainted: P W
[ 108.723126] EFLAGS: 00010086
[ 108.723126] eax: 00000002 ebx: ffffffd8 ecx: 00000000 edx: 804ff88c
[ 108.723126] esi: b4555d2c edi: 804ff580 ebp: b4555d3c esp: b4555cdc
[ 108.723126] ds: 007b es: 007b ss: 0068
[ 108.723126] Process sh (pid: 4410, stackpage=b44aaae0)
[ 108.723126] EIP: get_page_from_freelist+0x1f3/0x3dd
[ 108.723126]
[ 108.723126] STACK
[ 108.723126]
Date: 2016-11-09 00:14:21 UTC
p19-92-n6 vien de reboot.
Date: 2016-11-08 22:51:47 UTC
On commence avec le switch A.