OVH Travaux http://travaux.ovh.net/ Tue, 09 Feb 2010 17:17:14 +0100 Hébergements mutualisés:: SSH Une coupure de service est prévue pour chacun.]]> Type de tâche: Amélioration

Catégorie: tous les plans

Etat: Finie


Nous allons changer les machines ssh des cluster003, cluster005, cluster006 et cluster007.
Une coupure de service est prévue pour chacun.

Commentaires:

Date: Tue, 09 Feb 2010 12:58:40 +0100

On commence par cluster003.

Date: Tue, 09 Feb 2010 13:24:12 +0100

Cluster003 fini.

Date: Tue, 09 Feb 2010 16:39:37 +0100

Cluster005 et Cluster006 finis.

Date: Tue, 09 Feb 2010 16:58:22 +0100

Cluster007 en cours.

Date: Tue, 09 Feb 2010 17:17:10 +0100

Cluster007 finis.

]]> Tue, 09 Feb 2010 17:17:14 +0100 http://travaux.ovh.net/?do=details&id=3843 http://travaux.ovh.net/?do=details&id=3843 Hébergements mutualisés:: homez.109 sur cluster014 Les sites présents sur ce filer sont temporairement indisponibles, le temps de corriger le problème.]]> Type de tâche: Incident

Catégorie: tous les start

Etat: Finie


Le filer homez.109 du cluster 014 (anciennes offres start) présente un défaut de disque dur. Il a été sorti du système pour éviter la perte de données.
Les sites présents sur ce filer sont temporairement indisponibles, le temps de corriger le problème.]]> Tue, 09 Feb 2010 14:35:04 +0100 http://travaux.ovh.net/?do=details&id=3844 http://travaux.ovh.net/?do=details&id=3844 Hébergements mutualisés:: Mise à jour des serveurs MySQLs mutualisés Quelques minutes de coupures sont à prévoir pour chaque serveur.]]> Type de tâche: Amélioration

Catégorie: tous les plans

Etat: En cours


Nous mettons à jour les serveurs mysqls des hébergements mutualisés.
Quelques minutes de coupures sont à prévoir pour chaque serveur.

Commentaires:

Date: Tue, 09 Feb 2010 12:33:32 +0100

La mise à jour pose problème sur certains serveurs. Ces serveurs ont été remis sur l'ancien système. Nous allons faire des tests cette nuit pour corriger le problème.

]]> Tue, 09 Feb 2010 12:33:32 +0100 http://travaux.ovh.net/?do=details&id=3840 http://travaux.ovh.net/?do=details&id=3840 Emails:: Patch des filerz de mail Au passage des disques SSD seront ajoutés pour faire office de cache.

Une indisponibilité de 5 à 10 minutes est à prévoir par filer.]]> Type de tâche: Maintenance

Catégorie: tout

Etat: En cours


Nous allons patcher l'ensemble des filerz de mail pendant les nuits de lundi / mardi / mercredi.
Au passage des disques SSD seront ajoutés pour faire office de cache.

Une indisponibilité de 5 à 10 minutes est à prévoir par filer.

Commentaires:

Date: Mon, 08 Feb 2010 23:55:39 +0100

Nous démarrons les interventions.

Date: Tue, 09 Feb 2010 06:27:06 +0100

Les interventions sont terminées. Nous les reprenons dans la nuit de mardi à mercredi.

Date: Tue, 09 Feb 2010 23:44:28 +0100

Nous reprenons les interventions.

]]> Tue, 09 Feb 2010 06:29:37 +0100 http://travaux.ovh.net/?do=details&id=3838 http://travaux.ovh.net/?do=details&id=3838 Reseau Internet et Baies:: Routage interne Roubaix Cette maintenance concerne également les liens Roubaix <> Bruxelles (bru-1-6k).

Nous basculerons les liens un par un ce qui ne devrait pas occasionner d'impact sur le trafic.]]> Type de tâche: Maintenance

Catégorie: tout le reseau

Etat: En cours


Afin de mieux gérer le trafic entre nos routeurs de backbone sur Roubaix (rbx-1-6k<>rbx-2-6k<>vss-1-6k<>vss-2-6k<>rbx-99-6k), nous mettons en place une nouvelle architecture de routage. Le basculement vers cette nouvelle archi aura lieu cette nuit à partir de minuit.
Cette maintenance concerne également les liens Roubaix <> Bruxelles (bru-1-6k).

Nous basculerons les liens un par un ce qui ne devrait pas occasionner d'impact sur le trafic.

Commentaires:

Date: Fri, 05 Feb 2010 06:26:54 +0100

Les maintenances ne se passent pas bien. Nous avons les CRC entre les routeurs. Nous sommes revenus à la configuration initiale. Avec beaucoup de peine à cause de bugs : rbx-99-6k#sh inter ten 9/1 [...] 30 second output rate 90000 bits/sec, 98 packets/sec [...] pas moyen de faire passer du trafic. rbx-99-6k#conf t Enter configuration commands, one per line. End with CNTL/Z. rbx-99-6k(config)#inter ten 9/1 rbx-99-6k(config-if)#shutdown rbx-99-6k(config-if)#no shutdown rbx-99-6k#sh inter ten 9/1 [...] 30 second output rate 2345596000 bits/sec, 384765 packets/sec [...] ce qu'on appele un jolie bug qui fait perdre 2h dans la nuit.

Date: Fri, 05 Feb 2010 06:27:54 +0100

On pense que les problemes CRC pourraient venir des optiques non compatibles (!?) entre les Cisco N5 et les Cisco 6509 ... on refait un test.

Date: Fri, 05 Feb 2010 06:48:36 +0100

perdu. on remet les liens comme avant et on remonte les bugs à Cisco ...

Date: Fri, 05 Feb 2010 06:59:53 +0100

Le probleme vient probablement de MTU qui est XXXXX geré sur N5 le XXXX à remplacer par "mal", "differement", etc

Date: Mon, 08 Feb 2010 11:25:37 +0100

Nous avons modifié la config MTU au niveau des switchs N5 et basculé le lien rbx-1<>rbx-2 dessus. La session BGP est maintenant stable. Nous allons basculer progressivement les autres liens.

Date: Mon, 08 Feb 2010 14:41:23 +0100

Nous basculons les liens rbx-1<>vss-2 et rbx-2 <> vss-1

Date: Mon, 08 Feb 2010 15:38:09 +0100

Nous avons reperé des problèmes sur le lien rbx-1<>vss-2 avant même le début du basculement. Nous avons mis en place une fibre temporaire et prévoyons une intervention de maintenance pour réparer définitivement. Nous mesurons également une atténuation anormalement élevée sur le liens vss-2 <> rbx-99 que nous allons fixer également.

Date: Mon, 08 Feb 2010 19:11:22 +0100

La réparation des liens défectueux aura lieu ce soir à partir de 23:00. En fonction de la façon dont nous aurons avancé sur cette partie, nous embrayerons sur les basculements des liens de routage sur les nouveaux switchs de routage internes.

Date: Mon, 08 Feb 2010 23:49:59 +0100

Nous commencons la maintenance.

Date: Tue, 09 Feb 2010 00:35:25 +0100

Les liens défectueux sont maintenant réparés. Nous en profitons pour réparer également d'autres liens sur lesquels nous avons relevés des défauts.

Date: Tue, 09 Feb 2010 03:05:12 +0100

Nous avons retenté les basculements des liens 10G sur la nouvelle infra mais nous rencontrons toujours des difficultés. Nous rebasculons sur l'ancienne config sauf rbx-1 <> rbx-2 qui est le seul lien fonctionnant correctement à travers cette nouvelle infra.

]]> Mon, 08 Feb 2010 19:12:52 +0100 http://travaux.ovh.net/?do=details&id=3830 http://travaux.ovh.net/?do=details&id=3830 Hébergements mutualisés:: filerz46.90 Nous cherchons la cause.

Un redémarrage sera probablement nécessaire.]]> Type de tâche: Incident

Catégorie: 90plan

Etat: Finie


Le filer ne répond plus au test de monitoring mais est toujours UP.
Nous cherchons la cause.

Un redémarrage sera probablement nécessaire.

Commentaires:

Date: Wed, 27 Jan 2010 10:55:51 +0100

Le serveur est à nouveau indisponible. Nous basculons sur un spare.

Date: Wed, 27 Jan 2010 11:04:50 +0100

La carte réseau semble être en cause. e1000g0 : DL_UNITDATA_REQ failed : DL_BADADDR http://bugs.opensolaris.org/view_bug.do?bug_id=6533591

Date: Wed, 27 Jan 2010 11:10:37 +0100

Le spare est UP. Le service est à nouveau disponible.

Date: Thu, 28 Jan 2010 12:01:47 +0100

Le problème persiste sur le spare, nous cherchons la cause du problème.

Date: Sun, 31 Jan 2010 14:19:11 +0100

Nous basculons sur un autre serveur.

]]> Mon, 08 Feb 2010 17:10:45 +0100 http://travaux.ovh.net/?do=details&id=3790 http://travaux.ovh.net/?do=details&id=3790 Hébergements mutualisés:: mysql5-20.90 Type de tâche: Incident

Catégorie: 90plan

Etat: Finie


Le serveur mysql5-20.90 présente une défaillance. Une intervention est en cours.

Commentaires:

Date: Mon, 08 Feb 2010 16:50:33 +0100

Le problème est d'origine matérielle, nous remplaçons le serveur par un spare.

]]> Mon, 08 Feb 2010 17:10:19 +0100 http://travaux.ovh.net/?do=details&id=3842 http://travaux.ovh.net/?do=details&id=3842 Hébergements mutualisés:: SSH Type de tâche: Maintenance

Catégorie: tous les plans

Etat: Finie


Nous allons redémarrer les machines ssh de chaque cluster pour une courte durée.]]> Mon, 08 Feb 2010 16:01:46 +0100 http://travaux.ovh.net/?do=details&id=3841 http://travaux.ovh.net/?do=details&id=3841 Emails:: Mise à jour du OpenXchange Des problèmes de connexion sur cette interface peuvent être rencontrés lors de l'intervention.]]> Type de tâche: Maintenance

Catégorie: MX (entrants)

Etat: Finie


Une mise à jour de OpenXchange va être effectuée ce jour entre 12h et 15h.
Des problèmes de connexion sur cette interface peuvent être rencontrés lors de l'intervention.]]> Mon, 08 Feb 2010 15:28:25 +0100 http://travaux.ovh.net/?do=details&id=3837 http://travaux.ovh.net/?do=details&id=3837 Emails:: Équilibrage de charge - Filerz

Pour l'instant, seuls certains comptes du filerz 224 sont impactés.

Aucune perte de mails n'est à prévoir.]]> Type de tâche: Amélioration

Catégorie: tout

Etat: En cours


Nous répartissons les comptes email de façon à équilibrer la charge sur les différents filerz.


Pour l'instant, seuls certains comptes du filerz 224 sont impactés.

Aucune perte de mails n'est à prévoir.]]> Mon, 08 Feb 2010 14:39:29 +0100 http://travaux.ovh.net/?do=details&id=3794 http://travaux.ovh.net/?do=details&id=3794