rssLink RSS for all categories
 
icon_red
icon_green
icon_blue
icon_red
icon_orange
icon_green
icon_green
icon_red
icon_green
icon_red
icon_green
icon_green
icon_green
icon_red
icon_green
icon_orange
icon_green
icon_blue
icon_red
icon_red
icon_green
icon_green
icon_green
icon_red
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_red
icon_red
 

FS#28864 — RBX

Attached to Project— Reseau Internet et Baies
Incident
Roubaix
In progress
50%
Il y a eu un flap optique à RBX.

Nous investiguons

English version: http://status.ovh.net/?do=details&id=15229
Comment by OVH - Wednesday, 06 December 2017, 21:01PM

Nous confirmons un soucis avec le noeud optique de Roubaix.


Comment by OVH - Wednesday, 06 December 2017, 21:18PM

Nous remontons les liens 100G vers RBX.

Pour l'instant, nous constatons une saturation entre RBX et AMS.


Comment by OVH - Wednesday, 06 December 2017, 21:32PM

Nous coupons AMSIX/Worldstream temporairement.


Comment by OVH - Wednesday, 06 December 2017, 21:49PM

Bonsoir,
Le 9 novembre, nous avons rencontré un gros probleme
sur notre réseau optique à RBX. Le probleme était lié
à un bug software sur les équipements que nous utilisons
qui a provoqué l'effacement de la configuration.

Depuis, nous avons mis à jour les équipements sur tout
notre réseau. Aussi pour éviter que ce type de bug ne
provoque plus jamais un souci sur nos DCs, nous avons
décidé de diviser les clusters des équipements en 3
sur le site de RBX. Ainsi, si jamais on a à nouveau
ce bug, la configuration impacterait uniquement 30%
de trafic.

Lors de la préparation de la maintenance qui devait
débuter à 23h00, la configuration a disparu à nouveau
à 20h20 et tous les liens ont été à nouveau down. !!!!!
La base de données a été effacé alors que nous utilisons
la dernière version software. Donc il y a un autre bug !
http://travaux.ovh.net/?do=details&id=28835

Nous avons au plus vite remis la configuration. Certains
liens sont revenus, mais pas encore tous. Actuellement
le trafic passe Paris > GRA > AMS > RBX au lieu de
directement Paris > RBX. D'où les latences importantes.

On regarde avec Cisco pour comprendre pourquoi tous
les liens ne sont pas UP alors que la configuration été
remise à RBX.

Nous n'allons pas faire l'intervention cette nuit.
Je veux comprendre pourquoi la configuration s'efface
et comment on peut faire cette maintenance sans qu'on
ait à nouveau le moindre souci sur la production !

Amicalement
Octave


Comment by OVH - Wednesday, 06 December 2017, 22:10PM

La configuration est en place mais ça ne fonctionne pas.
On efface chaque configuration et on les reconstruit à
à la main.

RBX<>LDN: UP


Comment by OVH - Wednesday, 06 December 2017, 22:12PM

Isolation du trafic entre Amsterdam et Varsovie afin de diminuer la saturation


Comment by OVH - Wednesday, 06 December 2017, 22:23PM

Isolation du VAC de Roubaix afin de diminuer la saturation


Comment by OVH - Wednesday, 06 December 2017, 22:24PM

isolation of VAC Roubaix to reduce saturation


Comment by OVH - Wednesday, 06 December 2017, 22:32PM

On reconstruit les circuits à la main Paris <> RBX.
Sous quelques minutes on devrait avoir 400G de
capacité UP ce qui va réduire les latences dans le
réseau.


Comment by OVH - Wednesday, 06 December 2017, 22:43PM

4 circuits GSW<>RBX sont UP. on reactive les autres.


Comment by OVH - Wednesday, 06 December 2017, 22:51PM

4 autres circuits sont UP.

On reconstruit les autres circuits qui sont encore down.


Comment by OVH - Wednesday, 06 December 2017, 23:28PM

RBX<>FRA 400G UP


Comment by OVH - Thursday, 07 December 2017, 00:06AM

nous remontons les liens RBX<>LDN, il y a 400G actuellement


Comment by OVH - Thursday, 07 December 2017, 00:08AM

nous avons remonté les liens RBX <> BHS également


Comment by OVH - Thursday, 07 December 2017, 00:12AM

RBX<>LDN: 400G UP


Comment by OVH - Thursday, 07 December 2017, 00:23AM

RBX <> SBG en direct UP


Comment by OVH - Thursday, 07 December 2017, 00:54AM

Nous venons de faire remonter 100G supplémentaire entre RBX et AMS


Comment by OVH - Thursday, 07 December 2017, 01:05AM

Nous avons actuellement 600G entre RBX et AMS


Comment by OVH - Thursday, 07 December 2017, 01:05AM

Les liens vers le POP de BRU sont de nouveaux UP


Comment by OVH - Thursday, 07 December 2017, 01:09AM

tous les liens sont UP.

Nous sommes sincèrement désolés pour cette panne.
Nous allons tirer toutes les conséquences pour
éviter que ça ne se reproduise.


Comment by OVH - Thursday, 07 December 2017, 02:37AM

Les 600G entre RBX et GSW viennent d'etre UP