OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
LDN <> NWK
Incident Report for Network & Infrastructure
Resolved
Nous avons 2 liens transat down entre Londres (ldn-1-n7) et Newark (nwk-1-n7).
Nous contactons les fournisseurs des 2 liens.

Le trafic a été re-routé par ldn-5-n7 et nwk-5-n7 afin d'absorber la charge.

Update(s):

Date: 2017-03-17 08:30:25 UTC
Les 6x100G sont de nouveau opérationnels

Date: 2017-03-17 08:28:10 UTC
Nous avons eu beaucoup d'incidents ces dernière semaines sur les liens transatlantiques, sur plusieurs câbles en même temps.

Pour la plus longue, sur le câble FA1 (1x100G)
Début : 28/02/17 09:38:04 GMT
Fin : 17/03/17 01:02:13 GMT
Cause : Coupure fibre sous marine entre US et UK localisée entre SkewJack et le premier répéteur sous marin, à 20km de côtes UK. La coupure a été réparée par le bateau Peter Faber d'Alcatel Lucent, mais les mauvaises conditions météorologiques ont compliqués la réparation.

Nous avons également subi de nombreux flaps sur TGN-A (2x100G)
Début : 14/03/17 16:55:04 GMT
Fin : 15/03/17 16:58:04 GMT
Cause : Incident sur un l'amplificateur TLA à West Monkton UK, causant de nombreux flaps pendant 24H sur 2x100G. Le répéteur a été remplacé et le problème a été fixé.

Enfin sur AC-1 (2x100G), nous avons subi une très longue coupure également
Début : 27/02/2017 14:34:25 GMT
Fin : 14/03/2017 17:26:00 GMT
Cause : Coupure fibre sur le cable AC-1 entre Brookhaven, NY et Whitesands, UK, à 40km des côtes UK. Les mauvaises conditions météo ont ralenti la localisation de la coupure et sa réparation par le ROV.

Nous n'avons jamais eu autant de câbles down en même temps, depuis la mise en place en 6x100G. Dans les semaines qui viennent, nous allons ajouter une nouvelle route transatlantique avec 2x100G entre deux nouveaux points bien différents de NWK et LDN, afin d'avoir encore plus de résilience sur notre liaison transatlantique.

Cependant, les incidents successifs ici n'ont cependant pas eu d'impacts directs sur la qualité du réseau OVH, mis à part les flaps de quelques millisecondes causés par les nombreuses actions sur les câbles et répéteurs.

Date: 2017-03-15 18:09:55 UTC
Le lien qui était tombé plus tot dans l'après midi est de nouveau UP.
Nous surveillons le traffic sur les liens transat.

Date: 2017-03-15 15:58:02 UTC
Un de nos liens vient de tomber à nouveau.
Nous contactons notre fournisseur.

Date: 2017-03-14 21:06:01 UTC
Nous avons un ETR sur le 3ème lien au 15 ou 16 mars.

Subsea cable cut (case 62602) is observed in FA1 Network North Route between Skew Jack (UK) and North Port (US) on 27-Feb-17.

Fault Summary: Test results show Cable cut is about 20kms from Skewjack CLS towards Repeater1.

Currents Status: Initial splice is in progress. Final splice is expected to start in next 24 hours.

Date: 2017-03-14 20:41:43 UTC
Maintenant que nous avons 2x100G sur les 3 nous allons remettre en service. Nous continuons d'investiguer sur le 3ème down dès demain.

Date: 2017-03-14 20:41:06 UTC
Event Conclusion Summary:
Outage Start: February 27, 2017 13:56 GMT
Outage Stop: March 14, 2017 17:26 GMT

Root Cause: A subsea fiber fault was affecting unprotected services between Brookhaven, NY and Whitesands, UK.
Fix Action: The fiber fault was repaired to restore services.

Reason for Outage (RFO) Summary: On February 27, 2017, the European NOC reported a subsea fiber fault between Brookhaven, NY and Whitesands, UK was impacting unprotected services. Field Services attended both sites to investigate. Diagnostic testing indicated the fault was 41.3 kilometers from Whitesands, UK, and a cable repair vessel was contacted for repair. The cable repair vessel was mobilized and arrived at the fault location on March 6, 2017. However, due to adverse weather conditions, repair efforts could not proceed until March 7, 2017. The cable repair vessel's ROV (remotely operated underwater vehicle) located the cable on the seabed and surveyed the location before recovering the cable for repair. By March 10, 2017, both ends of the cable had been retrieved and the Whitesands, UK end was being spliced. Adverse weather continued and prolonged repair efforts. On March 13, 2017, splicing of the Brookhaven, NY end of the cable in progress. The final splicing was completed and the cable was returned to the seabed. Testing was completed before services were restored on March 14, 2017.


Date: 2017-03-06 22:25:22 UTC
The European NOC has advised that the Cable repair vessel has arrived at the fault location, but due to adverse weather conditions including high winds repairs are unable to begin at this time. An updated estimated time to restore services of March 11, 2017 has been provided barring any worsening weather conditions. The next update will be provided as information becomes available.


Date: 2017-03-03 07:37:26 UTC
Nous avons modifié des couts OSPF afin de décharger rbx-g2-a9 qui commence à être chargé. L'opération permet de forcer du trafic à croiser entre ldn-1-a9 et ldn-5-a9 au lieu de partir en direct à Roubaix. Cela n'a aucun impact sur les latences.

Date: 2017-03-01 14:26:50 UTC
La coupure a été repérée à 20km des cotes de Skew Jack (UK).
Un bateau a été assigné pour la réparation qui devrait être faite pour le 11 Mars.

Date: 2017-02-28 14:32:14 UTC
Nous avons la confirmation que la fibre a été endommagée au large du Royaume-Uni. Nos partenaires sont en processus de dépécher un bateau afin d'effectuer les réparations en mer.
Ils seront en mesure de nous fournir un estimé de quand le service sera de retour à son fonctionnement normal d'ici 48h.

Merci de votre patience.



Date: 2017-02-27 16:31:04 UTC
La coupure de fibre est entre New York (UK) et Whitesands (UK). Notre fournisseur est sur place pour investiguer le problème.
Posted Feb 27, 2017 - 15:32 UTC