rssLink RSS for all categories
 
icon_red
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_red
icon_red
icon_blue
icon_green
icon_green
icon_green
icon_orange
icon_green
icon_red
icon_green
icon_blue
icon_red
icon_orange
icon_green
icon_red
icon_green
icon_red
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_green
icon_blue
icon_green
icon_red
 

FS#9224 — RBX1 reseau interne

Attached to Project— Anti-DDoS
Maintenance
Paris DC1
CLOSED
100%
Dans le cadre de
http://travaux.ovh.net/?do=details&id=9215
nous allons changer l'AREA OSPF de tous
les petits routeurs à RBX1.
Date:  Friday, 30 August 2013, 15:18PM
Reason for closing:  Done
Comment by OVH - Thursday, 29 August 2013, 17:17PM

rbx-3/4/5/6-m1/m2 done


Comment by OVH - Thursday, 29 August 2013, 18:28PM

rbx-7/8/9/10/11/12/14/15/16/17-m1/m2: done
il y a de la casse dans les cartes. sur rbx-14, rbx-4, rbx-3.
on remplace par les spares.


Comment by OVH - Thursday, 29 August 2013, 20:13PM

on a fini les routeurs du 1er vlan (80 routeurs)
mais l'inter ne se passe pas comme prevue.

les process OSPF ne veulent plus remonter. on
est en train de simplifier la configuration pour
eviter d'annocer tous les LSA puis redemarrer
les routeurs qui ont planté. on a déjà quelques
routeurs UP. mais il reste beaucoup à faire.


Comment by OVH - Thursday, 29 August 2013, 21:38PM

nous allons remplacer l'OSPF par le BGP pour
accelerer la fin des travaux.


Comment by OVH - Thursday, 29 August 2013, 23:00PM

il nous reste 2 routeurs à remonter.


Comment by OVH - Thursday, 29 August 2013, 23:07PM

c'est UP sur au moins un routeur sur 2. L'OSPF est
coupé. et tout refonctionne mais sur le BGP.


Comment by OVH - Thursday, 29 August 2013, 23:48PM

La communicaaion entre les routeurs de RBX
ne passe plus par le reseau interne mais
par la backbone. On regarde pour fixer ce
probleme.


Comment by OVH - Friday, 30 August 2013, 00:09AM

Le reseau interne est remonté. Le reseau RBX1 est stable.


Comment by OVH - Friday, 30 August 2013, 02:30AM

Sur RBX1 nous avons une configuration de reseau
très particuliere qui se base sur 2 routeurs de RBX1
rbx-1-6k et rbx-2-6k. Ces 2 routeurs gere l'interco
d'environ 120-130 petits routeurs. C'est une archi
qui date de 2006 que nous n'avons qu'à RBX1 et la
particularité de cette configuration rendait toutes
les mise en place de nouveaux services complexes
(le VAC, le vrack etc). Il fallait qu'on simplifie
cette configuration en attendant de remplacer tous
ces routeurs par 4 gros, comme dans tous les autres
DC (les 4 routeurs sont arrivés il y a 2 semaines
et on pense faire la migration de RBX1 fin septembre).

On savait la simplification de cette configuration
allait avoir l'impact sur la disponibilité sur DC RBX1
et on savat qu'on allait devoir changer quelques
routeurs par les spares. On a donc preferé faire
l'inter dans la journée où nous avons le maximum
des staffs pour intervenir rapidement sur le hard.
et ça n'a pas loupé. Nous avons finalement dû virer
l'OSPF completement et mettre que le BGP.

88 routeurs ont été reconfigurés et il en reste encore 42.
On pourra pousser la configuration definitive sur
ces 42 derniers routeurs sans generer de pannes
nouvelles puis apres retirer l'ancienne conf. Après
le coup on se dit qu'on aurait dû faire ça dés le depart ..

Le probleme de RBX1 a impacté 2 autre routeurs qui
s'occupent du vrack 1.0 et qui n'ont pas été mis à jour
il y a 2-3 mois. Avec un uptime de plusieurs années
et les problemes d'aujourd'hui, nous avons eu la
fragmentation de la RAM et nous avons dû les redemarrer.

Les autres DC n'ont pas été impactés. Le probleme
concernait le DC RBX1 rt une partie de la soirée
le vrack 1.0 / IP LB. Le VAC1 ne fonctionnait pas
correctement durant une periode.

Nous sommes désolés pour la panne generées et sa durée.


Comment by OVH - Friday, 30 August 2013, 10:51AM

On va terminer la reconfiguration de 42 routeurs
restant. Pour cela, on va directement mettre la
configuration BGP puis on coupera l'OSPF apres
les verifications.


Comment by OVH - Friday, 30 August 2013, 14:10PM

La configuration est terminée. Nous n'avons eu aucun
soucis.

Nous allons maintenant isoler RBX1 de la backbone
comme tous les autres routeurs de DCs.


Comment by OVH - Friday, 30 August 2013, 14:18PM

fait.

on peut maintenant isoler le reseau interne
de la backbone.


Comment by OVH - Friday, 30 August 2013, 14:31PM

fait

l'ancien reseau SBG/RBX coupé. la mitigation par le VAC2
à SBG et VAC3 à BHS arrive bien sur les serveurs
hébergés sur RBX1. yes :)
les packets de SBG à RBX passent bien sur le nouveau
reseau interne.


Comment by OVH - Friday, 30 August 2013, 14:39PM

l'ancien reseau RBX/GRA coupé. le trafic s'ecoule
bien entre les DCs à travers le nouveau reseau
interne.


Comment by OVH - Friday, 30 August 2013, 15:17PM

all done