OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
BHS
Incident Report for Network & Infrastructure
Resolved
The fiber links between Newark and our datacenter in Beauharnois (BHS) is down:
6x100G
20x10G

We'll update incident status as soon as we can


Les liens entre Newark et notre datacenter de Beauharnois sont down :
6x100G
20x10G

Nous mettons à jour la tâche dès que nous avons plus d'informations.



Update(s):

Date: 2015-11-04 14:52:24 UTC
Bonjour,
Ce Lundi 2 novembre, le Datacenter de BHS a subi un nouveau problème de
réseau impactant l'ensemble des clients du Datacentre BHS. Comme il y a
5 mois, il s'agit de la coupure de nos 3 paires de fibres optiques entre
Beauharnois et Montréal, sur le chemin Nord.

Il y a 2 ans, nous avons lancé les travaux pour créer la redondance sur ces
103 km par la boucle Sud, mais ces travaux ont pris beaucoup de retard :
24 mois au lieu de 12 mois prévus. Ils se sont terminés seulement cette
semaine et, dans l'urgence de la panne, nous avons forcé la mise en production
de cette nouvelle fibre optique Sud ce qui a réduit la durée de la panne de
10h51 à 4h55 pour le réseau public.

Désormais le Datacentre est connecté en totale redondance par la boucle
Nord et par la boucle Sud. Nous avons 5 directions : 2 vers New York, 1 vers
Chicago et 2 vers Montréal.

Nous continuons les travaux pour améliorer la 2e route vers New York où
il ne reste plus qu'à souder la fibre optique sur la frontière Canada/USA,
3 ans après le démarrage du projet. Puis nous continuons les négociations
pour connecter Toronto à Détroit,MI.

Voici à quoi ressemble aujourd'hui notre réseau connectant BHS.
Nous avons en propre (les fibres noires et notre réseau DWDM):
- 4x10 Gbps entre BHS et Montréal via la boucle Nord
- 4x10 Gbps entre BHS et Montréal via le boucle Sud
- 6x100 Gbps vers New York/Newark via la boucle Sud
et nous avons en location :
- 10x10 Gbps vers Chicago via la boucle Sud
- 20x10 Gbps vers Newark via la boucle Nord
- 4x10 Gbps vRack vers Londrès (par Canada) via la boucle Sud
- 4x10 Gbps vRack vers Paris (par USA) via la boucle Nord

Sous 3-4 semaines, nous allons terminer la 2e route en propre vers
New York/Newark et nous allons activer le failover optique de
6x100 Gbps à travers les 2 chemins BHS/NYC-NWK. Ceci nous
permettra de mettre fin à la location de 20x10 Gbps vers Newark.

Nous allons augmenter la capacité Montréal/Chicago à 2x100 Gbps
puis 4x100 Gbps en attendant de terminer la route en propre entre
BHS vers Chicago par Toronto/Détroit. Nous n'avons pas encore
d'ETA sachant qu'il nous manque 800km entre Toronto et Détroit,MI
et que nous avons déjà BHS vers Toronto et Detroit,MI vers Chicago,IL.

En parallèle, nous travaillons sur le réseau aux USA entre New York
et Newark,NY puis Chicago,IL et Ashburn,VA. Ce nouveau réseau USA
prévu pour Q2 2016 sera déployé en propre et nous permettra de faire
la redondance de BHS vers Chicago par New York mais aussi de
connecter un nouveau Datacentre aux USA.

Nous sommes sincèrement désolés pour cette nouvelle panne de BHS.
Nous avons sous-estimé le temps et la complexité des projets de
construction de réseaux en fibre optique au Canada et du coup nous
avons pris un retard non-raisonnable dans la sécurisation de chaque
kilomètre connectant le Datacentre BHS. Même si aujourd'hui, ça y est
c'est fait, nous sommes 100 % redondés, nous sommes vraiment tristes
de l'annoncer dans ce genre de circonstances.

Sous 10 jours; nous vous préciserons la procédure d'indemnisation
conforme à nos SLA pour le mois de novembre.

Les heures exactes de l'incident :
- Coupure à 11h53 GMT-5 (17h53 GMT+1)
- à partir de 16h48 GMT-5 (22h48 GMT+1), le trafic depuis le Datacentre
BHS vers le réseau public est revenu à la normale grâce à la fibre optique Sud
- en revanche, les liens entre BHS et les autres Datacentres d'OVH ainsi que
le VAC (Anti-DDoS) ont, eux, été impactés jusqu'à la réparation complète
de la fibre Nord. Et le trafic a pu reprendre à 22h44 GMT-5 (04h44 GMT+1).

Amicalement
Octave

Date: 2015-11-03 05:10:11 UTC
La réparation du cable par la route ouest est terminée. Tous les liens encore coupés sont maintenant remontés (bhs<>chicago, bhs<>montreal,reseau interne vers l'Europe et vrack). Le trafic rerouté au niveau des peering Bell/Videotron a été normalisé afin de revenir aux performances habituelles.

La nouvelle fibre vers Montréal par la nouvelle route Est devait être mise en production cette semaine même. Mauvais timing. Bien que non prévue et réalisée entièrement dans l'urgence de la situation, sa mise en production nous a permis d'éviter plusieurs heures de panne supplémentaires et de redonder de manière définitive la capacité vers Newark. Nous allons dans les jours qui viennent migrer d'autres liens sur ce lien afin de sécuriser les capacités vers Chicago, Montréal et le réseau inter-datacentres vers l'Europe. Nous attendons également la mise à disposition prochaine d'une 3ème route complètement indépendante de BHS vers Newark qui permettra de sécuriser encore davantage la connectivité du datacentre de BHS. Nous vous présentons encore toutes nos excuses pour cette incident.

Date: 2015-11-03 00:31:38 UTC
La mise en place de l'atténuateur a permis de stabiliser le lien. Nous avons récupéré 600G de capacité entre BHS et Newark. Les liens sont stables.

ETA pour la réparation de la fibre coté OUEST (liens BHS<>MTL, BHS<>Chicago et trafic inter-dc / vrack) : 3h

Date: 2015-11-02 23:52:14 UTC
Les caractéristiques optiques du nouveau lien sont très différente du lien existant car il est beaucoup plus court. Nous avons trop de puissance recue sur Montreal ce qui rend instables 4 des 6 liens 100G. Nous devons ajouter un atténuateur sur la ligne afin de stabiliser le lien. Cette opération impactera de nouveau le trafic entre 30s et plusieurs minutes.

Date: 2015-11-02 23:28:05 UTC
Nous avons effectué la même manipulation pour TOR en coupant TORIX pour éviter de saturer le lien TOR <> NWK.

Date: 2015-11-02 22:51:12 UTC
Nous avons coupé les peerings (Bell/Videotron/Tata) sur MTL pour éviter de saturer les 20G NWK <> MTL et le 10G MTL <> BHS. Le trafic s'écoulera par d'autres peerings, nous observons pour voir si il faut modifier certaines routes.

Date: 2015-11-02 22:06:29 UTC
Nous avons réussi à remonter la liaison Beauharnois <> Newark sur la nouvelle fibre par l'est. Sur les 3 paires du lien qui étaient toujours en cours de recette, 2 étaient déjà opérationnelles ce qui nous a permis de mettre en production en urgence.
Les liens BHS <> Chicago et les autres liens BHS <> Montréal sont toujours down ce qui impacte le trafic vac, le trafic vrack vers l'Europe ainsi que certains liens internes OVH.

Date: 2015-11-02 20:55:04 UTC
L'installation du cable sur Montreal devrait commencer d'ici quelques minutes. D'ici 30-40min nous pensons avoir plus de visibilité par rapport à la remontée éventuel des liens Beauharnois <> Newark via ce nouveau chemin redondant.

Date: 2015-11-02 20:37:27 UTC
Les travaux continuent d'avancer sur les 2 axes:

1) La mise en production de la nouvelle paire de fibre BHS <> NWK est toujours en cours. Le passage du cable manquant (cross connect) sur Montréal est en cours. Tous nos équipements optiques sont pré-cablés et prêts à faire monter le lien.

2) Les travaux de réparations dans le tunnel ou à lieu la coupure se préparent également. Plusieurs opérateurs sont également impactés.

Voici le dernier update de la part du mainteneur du cable:

\"
Notre première équipe est sur les lieux et en période d'investigation pour la réparation du bris.

Le câble est déjà sur la route en direction de Melocheville.
Nous mobilisons une deuxième équipe de monteurs afin d'assurer le passage du câble en conduits
Deux équipes de fusions iront rejoindre la première sous peu.
Des signaleurs seront aussi de la partie.
\"

Date: 2015-11-02 19:09:49 UTC
La mise en prodution des 2 nouvelles fibres doit permettre la reconnexion des liens 6x100G entre notre datacentre de Beauharnois et le POP de Newark.

Date: 2015-11-02 19:08:10 UTC
Nous n'avons pas encore d'ETA quant à la réparation de la fibre existante.

En revanche, nous avons eu confirmation que 2 des 3 nouvelles paires du nouveau chemin Est (qui était en cous de recette) sont exploitables.
Nous travaillons avec les fournisseurs afin d'obtenir le raccordement complet au plus vite : seule la cross-connect qui relie OVH à notre fournisseur (à Montréal) manque à cet instant.

Date: 2015-11-02 18:16:43 UTC
La coupure se situerait dans le tunnel près de la centrale électrique.

Notre fournisseur envoie une équipe sur place afin de réparer.

Date: 2015-11-02 17:41:31 UTC
La coupure se situe à 108km de Montréal (fibre qui passe par le Nord du lac), nos techniciens suivent le chemin depuis BHS afin de trouver l'origine de la panne (probablement une coupure de fibre à env. 9km du datacentre).

Date: 2015-11-02 17:30:36 UTC
La livraison du chemin secours était planifiée pour les jours prochains, nous sommes en train de faire tout notre possible pour accélerer le processus et monter ces liens au plus vite.

En parrallèle, nous sommes toujours en lien avec nos fournisseurs pour trouver l'origine de la panne.

Date: 2015-11-02 17:08:55 UTC
Montreal <> Beauharnois down (6x10G)
Posted Nov 02, 2015 - 17:05 UTC
This incident affected: Infrastructure || BHS (BHS1, BHS2, BHS3, BHS4, BHS5, BHS6, BHS7).