OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
fra-1-a9 / fra-1-n7
Scheduled Maintenance
Report for Network & Infrastructure
Completed
Nous allons mettre à jour ces 2 équipements dans une version validée sur le reste de l'infrastructure ce mercredi 14/06/2017 à partir de 4h00 CEST.
Les équipements seront isolés afin de permettre la mise à jour software ainsi que la reprogrammation des FPD / EPLD (reload nécessaire)
En conséquence, les chemins FRA <> VAR seront indisponibles le temps de l'upgrade. Le POP de Vienne sera également isolé pendant l'intervention. L'ensemble du trafic sera rerouté pendant l'intervention.
Update(s):
Date: 2017-06-16 10:18:05 UTC
Nous avons créé une nouvelle tache pour troubleshooter le problème optique : http://travaux.ovh.net/?do=details&id=25390
L'upgrade de ces 2 équipements est donc désormais terminé.
Date: 2017-06-16 04:57:45 UTC
Un des ports sur la transmission optique vers Roubaix flap. Nous l'avons shut, cependant, il semble que des flaps sporadiques aient eu lieu avant notre intervention. Cela ne semble donc pas lié. Nous contrôlons toute la journée la stabilité .
Date: 2017-06-16 04:23:29 UTC
L'OIR a fonctionné et nous avons pu faire les upgrades EPLD de la lincard 7.
Cependant, depuis l'intervention, nous avons 2 ports qui flappent, nous les avons shutdown pour éviter des problèmes d'instabilité.
Date: 2017-06-16 03:44:50 UTC
Nous isolons OTI et shuttons les ports de la linecard 7.
Date: 2017-06-15 07:27:16 UTC
Nous allons devoir faire un OIR de la carte afin de tenter un upgrade EPLD.
L'opération sera réalisée demain matin à 6h00.
Date: 2017-06-14 05:38:11 UTC
Nous avons remis en service DECIX sur fra-1-a9 après avoir un support réactif chez DECIX.
Nous avons terminée la maintenance, nous monitorons la journée.
2 cas restent à traiter mais ne sont pas impactant :
- Upgrade failed sur une linecard de fra-1-n7
- Reproduction d'un crash de BGP/NSR sur la RSP standby lorsque certains peers flappent (max-pref par exemple)
Date: 2017-06-14 04:48:09 UTC
Nous avons remis en production les peerings, cependant il semble que notre mac address sur DECIX ne soit pas acceptée, ce qui laisse à penser que l'adresse MAC de notre sub interface vers DECIX a changé.
Nous avons pris contact avec DECIX et avons shutté notre port sur fra-1-a9 vers DECIX.
Ce problème a entrainé certains drops de trafic.
Date: 2017-06-14 04:23:32 UTC
Nous allons ouvrir un case chez Cisco pour l'upgrade EPLD failed.
Nous remettons en production fra-1-a9/n7
Date: 2017-06-14 04:02:32 UTC
L'upgrade de fra-1-a9 est terminée. Nous reloadons une dernière fois afin d'appliquer des modifications sur les profils hardware.
L'upgrade EPLD du module 7 de fra-1-n7 a de nouveau échoué. Nous tentons de fixer.
Date: 2017-06-14 03:43:53 UTC
[05:43:36] fra-1-a9.de.eu => Install operation 16 completed successfully (%INSTALL-INSTMGR-6-INSTALL_OPERATION_COMPLETED_SUCCESSFULLY )
Date: 2017-06-14 03:43:42 UTC
[05:43:24] fra-1-a9.de.eu => FPD upgrade completed. (%PLATFORM-UPGRADE_FPD-6-STATUS )
Date: 2017-06-14 03:41:26 UTC
Module Type Upgrade-Result
------ ---- --------------
1 LC Success
2 LC Success
5 SUP Success
6 SUP Success
7 LC Failed
8 LC Success
9 LC Success
10 LC Success
L'upgrade EPLD sur la carte 7 a failed, nous allons donc devoir le relancer.
Date: 2017-06-14 03:00:49 UTC
L'ISSU sur fra-1-n7. Nous allons démarrer la mise à jour des EPLD sur ce même équipement.
Date: 2017-06-14 02:37:41 UTC
[04:33:25] fra-1-a9.de.eu => Install operation started (%INSTALL-INSTMGR-6-INSTALL_OPERATION_STARTED )
L'issu sur fra-1-n7 est également démarré.
Date: 2017-06-14 02:18:48 UTC
Nous démarrons la mise à jour de fra-1-a9 et fra-1-n7
Date: 2017-06-14 02:03:39 UTC
Nous isolons fra-1-a9 et vie-1-6k pour démarrer la mise à jour des fra-1-a9 / fra-1-n7
Les équipements seront isolés afin de permettre la mise à jour software ainsi que la reprogrammation des FPD / EPLD (reload nécessaire)
En conséquence, les chemins FRA <> VAR seront indisponibles le temps de l'upgrade. Le POP de Vienne sera également isolé pendant l'intervention. L'ensemble du trafic sera rerouté pendant l'intervention.
Update(s):
Date: 2017-06-16 10:18:05 UTC
Nous avons créé une nouvelle tache pour troubleshooter le problème optique : http://travaux.ovh.net/?do=details&id=25390
L'upgrade de ces 2 équipements est donc désormais terminé.
Date: 2017-06-16 04:57:45 UTC
Un des ports sur la transmission optique vers Roubaix flap. Nous l'avons shut, cependant, il semble que des flaps sporadiques aient eu lieu avant notre intervention. Cela ne semble donc pas lié. Nous contrôlons toute la journée la stabilité .
Date: 2017-06-16 04:23:29 UTC
L'OIR a fonctionné et nous avons pu faire les upgrades EPLD de la lincard 7.
Cependant, depuis l'intervention, nous avons 2 ports qui flappent, nous les avons shutdown pour éviter des problèmes d'instabilité.
Date: 2017-06-16 03:44:50 UTC
Nous isolons OTI et shuttons les ports de la linecard 7.
Date: 2017-06-15 07:27:16 UTC
Nous allons devoir faire un OIR de la carte afin de tenter un upgrade EPLD.
L'opération sera réalisée demain matin à 6h00.
Date: 2017-06-14 05:38:11 UTC
Nous avons remis en service DECIX sur fra-1-a9 après avoir un support réactif chez DECIX.
Nous avons terminée la maintenance, nous monitorons la journée.
2 cas restent à traiter mais ne sont pas impactant :
- Upgrade failed sur une linecard de fra-1-n7
- Reproduction d'un crash de BGP/NSR sur la RSP standby lorsque certains peers flappent (max-pref par exemple)
Date: 2017-06-14 04:48:09 UTC
Nous avons remis en production les peerings, cependant il semble que notre mac address sur DECIX ne soit pas acceptée, ce qui laisse à penser que l'adresse MAC de notre sub interface vers DECIX a changé.
Nous avons pris contact avec DECIX et avons shutté notre port sur fra-1-a9 vers DECIX.
Ce problème a entrainé certains drops de trafic.
Date: 2017-06-14 04:23:32 UTC
Nous allons ouvrir un case chez Cisco pour l'upgrade EPLD failed.
Nous remettons en production fra-1-a9/n7
Date: 2017-06-14 04:02:32 UTC
L'upgrade de fra-1-a9 est terminée. Nous reloadons une dernière fois afin d'appliquer des modifications sur les profils hardware.
L'upgrade EPLD du module 7 de fra-1-n7 a de nouveau échoué. Nous tentons de fixer.
Date: 2017-06-14 03:43:53 UTC
[05:43:36] fra-1-a9.de.eu => Install operation 16 completed successfully (%INSTALL-INSTMGR-6-INSTALL_OPERATION_COMPLETED_SUCCESSFULLY )
Date: 2017-06-14 03:43:42 UTC
[05:43:24] fra-1-a9.de.eu => FPD upgrade completed. (%PLATFORM-UPGRADE_FPD-6-STATUS )
Date: 2017-06-14 03:41:26 UTC
Module Type Upgrade-Result
------ ---- --------------
1 LC Success
2 LC Success
5 SUP Success
6 SUP Success
7 LC Failed
8 LC Success
9 LC Success
10 LC Success
L'upgrade EPLD sur la carte 7 a failed, nous allons donc devoir le relancer.
Date: 2017-06-14 03:00:49 UTC
L'ISSU sur fra-1-n7. Nous allons démarrer la mise à jour des EPLD sur ce même équipement.
Date: 2017-06-14 02:37:41 UTC
[04:33:25] fra-1-a9.de.eu => Install operation started (%INSTALL-INSTMGR-6-INSTALL_OPERATION_STARTED )
L'issu sur fra-1-n7 est également démarré.
Date: 2017-06-14 02:18:48 UTC
Nous démarrons la mise à jour de fra-1-a9 et fra-1-n7
Date: 2017-06-14 02:03:39 UTC
Nous isolons fra-1-a9 et vie-1-6k pour démarrer la mise à jour des fra-1-a9 / fra-1-n7