OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Déménagement th1 vers th2
Scheduled Maintenance Report for Network & Infrastructure
Completed
Nous allons quitter le POP de th1 et déménageons l'ensemble de nos équipements vers une nouvelle salle à th2 notamment le routeur th1-1-6k et notre DTN Infinera qui s'y trouvent. Le routeur th1-1 sera remplacé par un nouveau th2-5-6k et le DTN sera déménagé dans la nuit de jeudi à vendredi (du 22 au 23). Nous allons donc déplacer les points d'arrivées de fibres vers Roubaix, Francfort et p19 ainsi que les intercos que nous avions avec différents opérateurs sur th1: Tata, Orange, OTI, Bouygues, Seabone.

La 1ère étape de cette migration est déjà effectuée, le routeur th2-5-6k étant déjà prêt à connecter les différents services qui seront migrés. On attaque demain le gros morceau :
- matinée: coupure du paris<>francfort (lien de backup Francfort), le trafic p19 vers FRA et l'Europe de l'est sera temporairement routé via Roubaix
- matinée: activation de 4x10G entre th1-1 et th2-5
- 14:00: migration des ports TATA de th1-1 vers th2-5
- après-midi: installation d'un nouveau chassis Infinera vide sur th2 et préparation des travaux pour la nuit
- 00:00 migration des liens optiques longues distances de th1 vers th2: Roubaix<>Paris et Francfort<>Paris. Le trafic Paris<>Roubaix continue de s'écouler via notre second lien Roubaix<>Globalswitch. Réactivation de tous les liens 10G vers Roubaix et Francfort sur le nouveau routeur th2-5-6k.

Update(s):

Date: 2011-09-23 04:17:09 UTC
Le trafic est retablit sur th2-1-6k vers TATA, Orange, Seabone et Bouygues.
Il reste encore 4-5 phases de travaux sur Paris que nous allons effectuer
dans quelques jours et avant la fin du mois:
- il faut vider th1
- ajouter ASR 9010 à th2
- ajouter ASR 9010 à gsw
- raccorder tous les 6k sur les 2 ASR
- raccorder les NRA sur les ASR

Date: 2011-09-23 04:16:48 UTC
Fin des travaux pour cette nuit.

Date: 2011-09-23 04:14:44 UTC
Ces liens 4 sont maintenant reconnectés sur le th2-5-6k.

Date: 2011-09-23 03:41:08 UTC
Done.
On bascule maintenant les circuits vers Orange, Seabone et Bouygue.

Date: 2011-09-23 03:28:05 UTC
Le trafic s'ecoule de Roubaix vers Paris sur 2 liens maintenant.
Les connexions entre th1-1-6k, th2-1-6k et th2-5-6k sont en
triangle et actif. le trafic s'ecoule normalement.

Il reste à ralonger le peering avec orange de th1 vers th2
(2x10G), le peering avec bouygues et le transit seabone en
attandant que les migrations de liens sont effectués par
ces opérateurs de th1 vers th2. Par contre le transit OTI
reste sur th1.

Date: 2011-09-23 02:02:42 UTC
Done. On attaque la dernière étape des travaux : migration du lien th2-1 <> th1-1 vers th2-5 <> th1-1.

Date: 2011-09-23 01:54:07 UTC
Nous réactivons l'ensemble des circuits 10G.

Date: 2011-09-23 01:53:46 UTC
Interoute avait un pb de son côté sur la cross-co vers nous. C'est fixé et le lien Paris<>Francfort est up mais avec un signal trop fort en réception. On règle l'atténuation en input en passant sur un atténuateur 5dB au lieu de 10 pour rentrer dans les clous.

Date: 2011-09-23 01:23:00 UTC
Le lien Paris<>Roubaix est opérationnel. Nous remontons les 10G. Nous avons un souci au niveau du Paris<>Francfort (atténuation meilleure dans un sens, plus mauvaise dans l'autre). On investigue au niveau des cablages.

Date: 2011-09-23 01:04:35 UTC
Nous sommes maintenant sur le site de th2. Les équipements sont en cours d'installation.

Date: 2011-09-22 23:11:18 UTC
Le chassis Infinera sur th1 est éteint. Les cartes sont extraites et préparées pour le transport.

Date: 2011-09-22 22:55:43 UTC
Ca n'a pas été prevu cette nuit. On le fera plus tard.

Date: 2011-09-22 22:36:15 UTC
Nous coupons le trafic th1-1<>p19-7 pour migrer le lien.

Date: 2011-09-22 22:35:49 UTC
L'algo d'ajustement auto du gain est de nouveau opérationnel dans le sens Paris>Roubaix. On ajoute un offset de +2 sur Etricourt pour rentrer dans le range de fonctionnement normal des amplis sur Willerval et Roubaix (qui est de 32dB max). Il faudra une intervention ultérieure pour régler le pb de span loss trop élevé entre Etricourt et Willerval.

Date: 2011-09-22 22:09:37 UTC
Les réglages sur les offsets ont été faits mais pas encore pris en comptes. Nous effectuons un warm reset sur la BMM de Telehouse pour forcer la maj des gains sur les OAMs dans le sens Paris>Roubaix.

Date: 2011-09-22 22:07:16 UTC
Suite au reboot de la carte OAM, les liens entre Paris/Roubaix
ont coupé pendant 15 secondes. Nous avons profité pour les
sortir du routage puis voir comment le trafic va s'ecouler
maintenant.

On a reactiver un 40G entre rbx-1/gsw-1 pour ajouter un peu
de capacité.

w8

Date: 2011-09-22 22:04:03 UTC
Suite au reboot de la carte OAM sur Nogent, l'alarme a disparu. La carte est revenue dans son fonctionnement normal.

Date: 2011-09-22 21:55:41 UTC
Nous allons preparer la coupure du lien Roubaix/Paris vers th1-1-6k.
Le trafic va s'ecouler naturellement (ou pas) via le reste du reseau.
En fonction de cet ecoulement nous allons aider le reseau d'évacuer
le trafic vers internet sans perte de packet. Si c'est le cas
n'hesitez pas nous envoyer l'email avec vos IP sur oles@ovh.net

Date: 2011-09-22 21:48:25 UTC
Nous effectuons les modifs sur le lien optique Paris<>Roubaix

Date: 2011-09-22 16:24:20 UTC
Nous avons redirigé le trafic TATA de London vers Amsterdam

Date: 2011-09-22 15:21:05 UTC
les 3x10G TATA sont remontés sur le nouveau routeur th2-5-6k. Nous avons également mis en place un lien temporaire 4x10G th1-1 <> th2-5.
Point de vue trans, le nouveau chassis infinera est en place à vide et en attente des cartes que nous amènerons cette nuit de th1.
Déroulement des opérations cette nuit:
- 23:00 actions correctrices sur le lien Paris<>Roubaix selon les préconisations d'infinera (réglages offset, reboot à chaud d'une carte OAM sur le site de Nogent)
- 00:00 si tout s'est bien passé et que le lien est resté stable, mise hors tension du chassis à th1, transfert des cartes sur th2
- 01:00 migration des liaisons fibres vers Roubaix et Francfort sur th2 en coordination avec Interoute
- 01:30 réactivation du DTN Infinera sur th2 puis réactivation des circuits 10G vers Roubaix et Francfort
- 02:00 activation des 2x10G p19-7<>th2-5 (DWDM)
- 02:30 check de l'équilibrage du trafic sur le backbone

Date: 2011-09-22 12:47:13 UTC
Le trafic de TATA a repassé sur GBLX à Paris. Ca vient d'être ajusté pour
sortir sur TATA à London. On travaile avec TATA pour reactiver les 3 ports
10G à Paris sur TH2 au lieu de TH1. On ne repassera pas dessus avant demain
matin.

Date: 2011-09-22 11:46:55 UTC
lien th1-1 <> fra-5 coupé, on coupe maintenant le trafic TATA sur th1-1

Date: 2011-09-22 11:22:06 UTC
Nous allons couper le lien Paris<>Francfort puis les 3x10G TATA sur th1
Posted Sep 21, 2011 - 18:02 UTC