OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
fra-1-n7
Incident Report for Network & Infrastructure
Resolved
Suite au redémarrage de cet equipement (A cause du probleme VOQ : http://travaux.ovh.net/?do=details&id=27164), une des linecard ne redémarre pas. Un ticket a ete ouvert chez le constructeur

English version: http://status.ovh.net/?do=details&id=15031

Update(s):

Date: 2017-09-14 06:07:28 UTC
Tout semble stable depuis le downgrade il y a une heure.

Date: 2017-09-14 05:10:06 UTC
Nous avons downgradé la version.
Le n7 semble stable à présent.
Les deux cartes (module 3 et 7) ont bien booté.
Nous dé-isolons les peers tout en surveillant le nexus.

Date: 2017-09-14 04:46:13 UTC
On isolons tous les peer présent sur fra-1-n7.

Date: 2017-09-14 04:39:15 UTC
Nous décidons de downgrader la version.

Date: 2017-09-14 04:32:54 UTC
La carte vient de crasher à nouveau.
Nous coupons la carte du module 3 pour le moment.
Nous analysons.

Date: 2017-09-14 04:14:22 UTC
La nouvelle carte dans le module 3 vient de recrasher 2 fois de suite entre 6h00 et 6h00 UTC+2.
Nous analysons.

Date: 2017-09-13 13:20:18 UTC
Tous les peers et les liens entre les DC ont été rétablies.
Nous plannifirons une maintenance pour rétablir les 4 liens vers fra-1-a9.
Nous sommes toujours en analyse avec notre fournisseur pour comprendre tout ce qui s'est passé.

Date: 2017-09-13 13:04:36 UTC
Après investigation avec notre fournisseur, nous allons laisser la carte sur l'autre module pour le moment.
En reconfigurant les ports du nouveau module, nous avons eu un problème au niveau de la configuration du port-channel vers fra-1-a9.
Nous allons laisser isolé ces ports pour le moment (pas de problème de saturation, il y a 11 autres liens 100G qui prennent la charge).
Nous remettons en production les liens optiques entres les DC et les peer.

Date: 2017-09-13 10:30:56 UTC
La carte bien booté sur un autre slot.
Nous sommes en cours d'analyse avec notre fournisseur.
Pour le moment, nous n'avons pas réinséré les optiques.

Date: 2017-09-13 10:20:52 UTC
Le retrait/insertion dans le même module fait à nouveau crashé la carte.
Nous la déplaçons dans un autre module du n7

Date: 2017-09-13 10:20:17 UTC
La carte a crashé assez rapidement après avoir été inséré.
Nous avons envoyé des techniciens sur place afin de pouvoir déplacer la carte.

Date: 2017-09-13 07:16:39 UTC
Done

Date: 2017-09-13 07:05:18 UTC
Nous changeons la carte avec un technicien sur place.
Posted Sep 13, 2017 - 02:16 UTC