OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
p19-95-n6
Incident Report for Network & Infrastructure
Resolved
Nous avons perdu l'équipement, nous sommes actuellement en train d'investiguer.
L'autre membre du couple p19-94-n6 est toujours fonctionnel. Nous revennons vers vous dès que nous avons des informations supplémentaires.

----

We have lost the equipment, we are currently investigating.
The other member of the p19-94-n6 pair is still functional. We will get back to you as soon as we have more information.

Update(s):

Date: 2018-02-01 02:14:59 UTC
La maintenance est terminé.

--

The maintenance is now done.



Date: 2018-02-01 02:11:03 UTC
Tous les FEX sont UP. Nous surveillons la situation

--

All fex are up, we monitor the situation.

Date: 2018-02-01 01:58:53 UTC
32 FEX up sur 43

--

32 FEX UP on 43

Date: 2018-02-01 01:30:43 UTC
FEX 100 est en ligne. Nous surveillons là situation.

--

FEX100 is online, we monitor the situation.

Date: 2018-02-01 01:23:22 UTC
2x10G d'uplinks est up entre p19-95-n6 <> p19-53/54-n5 et le traffic s'ecoule. Nous allons ajouter 2x10G en prévention pour la capacité.

Nous allons rallumer le FEX 100.

--

2x10G of uplinks is now up between p19-95-n6 <> p19-53/54-n5 and the traffic flow. We will add 2x10G to avoid any capacity issue.

We will reup FEX100.

Date: 2018-02-01 01:07:53 UTC
La vPC est monté entre les 2 switches. Nous allons rallumer les uplinks.

--

The vPC is up between the 2 switches. We will re-up the uplinks.


Date: 2018-02-01 00:55:33 UTC
Nous débutons l'intervention. On commence par réactivé la VPC entre les 2 nexus et s'assurer que la négociation vPC est OK. Par la suite, on rallume les uplinks et finalement nous allons allumer fex par fex. Il y en a 46 fex total à rallumer.

--

We will begin the intervention. We start by activate the vPC between the 2 nexus and verify that the negociation is fine. After we will reup the uplinks and finally the FEX, FEX by FEX. There's a total of 46 fex to re-up.


Date: 2018-01-31 16:00:50 UTC
La remise en production du p19-95-n5 est programmée à 01:00 UTC.

--

Device will be putted back in production at 01:00 UTC

Date: 2018-01-29 14:45:50 UTC
La situation est actuellement stabilisée.
L'upgrade des upLink a permis d'absorber le pic de trafic lié aux tâches en retard.
Nous sommes en contact avec notre équipementier pour résoudre définitivement le problème et remettre p19-95-n6 en production sereinement.

----

The situation is now stabilized.
The capacity upgrade of the remaining uplinks allowed us to absorb the traffic peak due to delayed tasks.
We are currently working with our provider to safely put back p19-95-n6 in production.

Date: 2018-01-29 10:45:04 UTC
Nous sommes en train de recabler des uplink car les liens saturent.

----

We are currently re-cabling new uplinks before we haven't enough capacity for the moment.

Date: 2018-01-29 10:26:04 UTC
Avec le nombre de tasks qui n'ont pas pu se faire pendant l'incident le report de charge nous oblige à upgrader une deuxième fois la capacité.

----

With the number of tasks that could not be done during the incident, we have to add more capacity to absorb the load effectively.

Date: 2018-01-29 10:05:20 UTC
Nous avons rajouté la capacité sur le chassis restant, nous monitorons.

----

We added the capacity on the remaining chassis, we monitor.

Date: 2018-01-29 09:42:06 UTC
Le datacenter est en train de câbler les uplinks.

----

The datacenter is wiring the uplinks.


Date: 2018-01-29 09:32:36 UTC
Nous sommes en train d'ugrader la capacité des uplinks sur le p19-94-n6. Nous ne remettons pas encore le p19-95-n6 en production, tant que nous n'avons le retour du constructeur sur le problème.

----

We are in the process of upgrading the uplink capacity on p19-94-n6. We are not putting the p19-95-n6 back into production until we get the feedback from the manufacturer on the problem.

Date: 2018-01-29 08:42:29 UTC
Tous les fexs sont remontés.

----

All fexs are up

Date: 2018-01-29 08:33:25 UTC
Plus de la moitié des fexs sont up

----

More than half of the fexes are up


Date: 2018-01-29 08:26:21 UTC
1/4 des fexs sont redémarrés
Nous continuons.

----

1/4 of fexes are restarted
We're continuing.

Date: 2018-01-29 08:21:47 UTC
Le switch 94 est de nouveau joignable mais les fex vont mettre du temps à redémarrer.
Nous laissons le Le switch 95 isolé pour le moment.

----

Switch 94 is reachable again but fex will take some time to reboot.
We're leaving switch 95 isolated for now.

Date: 2018-01-29 08:17:39 UTC
Nous avons rencontré un problème lors de la reconnexion du vPC, les uplinks des fex sont passés en vpc failed.
Nous avons perdu le couple. Nous reloadons le deuxième membre, nous attendons que les fex reviennent online.

----

We encountered a problem when reconnecting the vPC, the fex uplinks went into vpc failed.
We lost the couple. We reload the second member, we wait for the fex to come back online.

Date: 2018-01-29 07:34:04 UTC
Nous avons eu un bug sur le chassis. Nous l'avons isolé physiquement et nous avons reloadé.
Nous avons récupéré le chassis et nous sommes en train de le remettre en production.

----

We had a bug on the chassis. We physically isolated him and reloaded him.
We have recovered the chassis and are now in the process of putting it back into production.

Date: 2018-01-29 06:50:51 UTC
Nous sommes en train de rebooter le chassis.

----

We are currently rebooting the chassis.
Posted Jan 29, 2018 - 06:33 UTC