OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
upgrade de catos (roubaix)
Scheduled Maintenance Report for Network & Infrastructure
Completed
Nous allons mettre à jour la version Catos sur l'ensemble des routeurs -c1
de Roubaix soit environ 20 routeurs. En plus de mettre à jour le software,
nous allons ajouter de la RAM sur les cartes sup afin de permettre cette
mise à jour software (il faudra deviser chaque carte de fille msfc de la
carte sup pour changer la ram ... sur les 120 cartes de routage actuellement
en production ... il faudra compter environ 2 jours de travail en tout à
plusieurs).

Nous allons effectuer ces mises à jour de nuit. Il faudra compter environ
60 secondes d'indisponibilité par routeur au niveau 2 et environ 120
secondes au niveau 3. Et donc en gros 120 secondes de panne par routeur.

Ces mises à jour nous permettront:
- d'augmenter dans le futur entre la backbone (les routeurs -6k) et le
réseau de distribution (-c1/-m1/-m2) en quelques minutes
- d'augmenter la capacité et la fiabilité de la connexion entre le réseau
de distribution (-c1/-m1/-m2) et les switchs dans chaque baie

Le réseau en fibre optique entre la backbone et la distribution est déjà
posée et prêt à être utilisé en quelques minutes. Le réseau entre la
distribution et les switchs est en train d'être passé (environ 15km de
câble).

Les mêmes mises à jour auront lieu sur le datacentre de Paris19 pendant le
mois d'août. Le but étant d'être prêt pour la rentrée.



Update(s):

Date: 2007-08-10 08:11:43 UTC
Tous les routeurs sont up. Nous avons eu un probleme sur rbx-3 et
rbx-7. Sur sur rbx-3 nous avons eu l'une des cartes de routage mal
visées sur la sup 1 et des problemes sur 2 ports giga sur la sup 2
ce qui a provoqué des pannes anormalement longes. Sur la rbx-7
nous avons eu les problemes sur 2 ports giga.

Le Catos est à jour sur l'ensemble de routeurs. Nous allons pouvoir
passer à l'etape 2 de l'augmentation de la capacité du reseau
interne.

Date: 2007-08-10 07:23:00 UTC
Les interventions sont terminées pour tous les routeurs
sauf rbx-3 et rbx-7 qui posent des problemes. Nous
cherchons l'origine du probleme.

Date: 2007-08-10 05:53:38 UTC
Nous avons eu un probleme pendant 3 minutes sur 3 routeurs.
C'est fixé. Le probleme vient du fait que si la carte de
supervision demarre sur le nouveau Catos mais avec pas assez
de Ram, le routeur est surchargé et ne veut plus router
correctement. Désormais nous faisons le necessaire pourque
ça n'arrive plus.



Date: 2007-08-10 05:17:30 UTC
On demarre.

Date: 2007-08-09 22:37:31 UTC
Demain matin entre 6h30 et 8h30, nous allons continuer les
travaux de mises à jour de Catos sur les routeurs sur le
datacentre de Roubaix. Nous allons mettre à jour tous les
routeurs rbx-3/4/.../20/21. Il faut compter 2 minutes de
panne par routeur.

Nous allons en même temps augmenter la Ram des cartes sup
ce qui nous permettra changer la version de Catos qui
supporte les nouvelles cartes que nous allons mettre en
production par la suite. Toutes les mises à jour ont pour
le but d'augmenter la capacité de nos connexions interne
du réseau et donc de mieux supporter les burts de bande
passante que vous pouvez avoir besoins dans le futur.



Date: 2007-08-01 12:57:55 UTC
basculé.

Date: 2007-08-01 12:43:12 UTC
Nous allons basculer les ports sur rbx-21 afin de mettre en
place les nouvelles cartes.

Date: 2007-08-01 02:51:44 UTC
[...]
64 bytes from 91.121.76.15: icmp_seq=365 ttl=60 time=4.36 ms
64 bytes from 91.121.76.15: icmp_seq=366 ttl=60 time=4.22 ms
64 bytes from 91.121.76.15: icmp_seq=367 ttl=60 time=4.29 ms

From 213.186.32.222 icmp_seq=479 Time to live exceeded
64 bytes from 91.121.76.15: icmp_seq=481 ttl=60 time=4.25 ms
64 bytes from 91.121.76.15: icmp_seq=482 ttl=60 time=4.10 ms
64 bytes from 91.121.76.15: icmp_seq=483 ttl=60 time=4.20 ms
[...]

~$ echo 481-367 | bc -l
114

114 secondes d'indisponibilitée dû au basculement des cartes
en mode \"non haute dispo\".

rbx-21 est en configuration haute dispo désormais avec la
nouvelle version de catos.

Date: 2007-08-01 02:36:14 UTC
Nous allons tester le process d'upgrade sur rbx-21-m1/m2. Il faudra compter
environ 2 minutes d'indisponibilitée sur les serveurs suivants (le temps que
les cartes se basculent en mode \"non haute dispo\" et ospf/bgp reprennent les
defauts dans le routage):
91.121.76.0/24
91.121.77.0/24
91.121.78.0/24
91.121.79.0/24
Posted Jul 31, 2007 - 13:56 UTC