OVH Travaux

Emails:: filerz148.mail

Thu, 17 May 2012 00:53:47 +0200

Type de tâche: Maintenance

Catégorie: tous les emails

Etat: Finie

Nous effectuons une tâche de maintenance sur le pool de donnée, une interruption de quelques minutes est à prévoir.

Reseau Internet et Baies:: Upgrades de capacités vers Amsterdam et Francfort

Wed, 16 May 2012 23:00:21 +0200

Type de tâche: Amélioration

Catégorie: tout le reseau

Etat: Finie

Nous ajoutons 16x10G vers Amsterdam et 12x10G de capacité vers Francfort à partir de Roubaix. 280G de capa supplémentaire au total.

Commentaires:

Date: Fri, 04 May 2012 12:12:27 +0200

Nous avons ajouté 4x10G vers AMS sur les 16x10G prévus à terme.

Date: Wed, 16 May 2012 18:56:11 +0200

Nous avons maintenant 2x140G de capacité vers Amsterdam. Upgrade en cours sur Roubaix<>Francfort

Date: Wed, 16 May 2012 21:58:32 +0200

Nous avons upgradés les liens Roubaix<>Francfort à 2x120G. A cause de pb sur le nouveau hardware à Francfort (cartes 6908 HS), nous ne pouvons pas aller au bout de l'upgrade. Nous connecterons les 2x20G restant dans les jours qui viennent.

Date: Wed, 16 May 2012 23:00:17 +0200

C'est fait. Nous avons: 280G entre Roubaix et Amsterdam. 240G entre Roubaix et Francfort, il reste à ajouter 40G 200G entre Roubaix et London 280G entre Roubaix et Paris 20G entre Roubaix et Bruxelles ---------------- 1.06Tbps à partir de Roubaix

Reseau Internet et Baies:: ams-5-6k

Wed, 16 May 2012 22:57:02 +0200

Type de tâche: Incident

Catégorie: tout le reseau

Etat: En cours

une carte 6908 de ams-5-6k est morte.
on va ouvrir un TAC et demander le
remplacement dans les 2H.

May 10 04:51:15 GMT: %PM_SCP-1-LCP_FW_ERR: System resetting module 2 to recover from error: Linecard received system exception. Errcode =
2709000001
May 10 04:51:15 GMT: %OIR-3-PWRCYCLE: Card in module 2, is being power-cycled 'Off (Module Reset due to exception or user request)'
May 10 04:51:16 GMT: %C6KPWR-4-DISABLED: power to module in slot 2 set Off (Module Reset due to exception or user request)
May 10 04:57:00 GMT: %ONLINE-6-REGN_TIMER: Module 2, Proc. 0. Failed to bring online because of registration timer event
sm(cygnus_oir_bay slot2), running yes, state wait_til_online
Last transition recorded: (restart)-> wait_til_disabled (disabled)-> disabled_clr_persist (disabled)-> wait_til_disabled (timer)-> may_be_occupied (timer)-> occupied (known)-> can_power_on (yes_power)-> powered_on (real_power_on)-> check_power_on (timer)-> check_power_on (power_on_ok)-> wait_til_online

May 10 04:57:00 GMT: %C6KPWR-4-DISABLED: power to module in slot 2 set off (Module Failed SCP dnld)
May 10 05:02:44 GMT: %ONLINE-6-REGN_TIMER: Module 2, Proc. 0. Failed to bring online because of registration timer event
sm(cygnus_oir_bay slot2), running yes, state wait_til_online
Last transition recorded: (disabled)-> disabled (disabled)-> disabled2 (restart)-> wait_til_disabled (timer)-> may_be_occupied (timer)-> occupied (known)-> can_power_on (yes_power)-> powered_on (real_power_on)-> check_power_on (timer)-> check_power_on (power_on_ok)-> wait_til_online
May 10 05:02:44 GMT: %C6KPWR-4-DISABLED: power to module in slot 2 set off (Module Failed SCP dnld)
May 10 05:08:28 GMT: %ONLINE-6-REGN_TIMER: Module 2, Proc. 0. Failed to bring online because of registration timer event
sm(cygnus_oir_bay slot2), running yes, state wait_til_online
Last transition recorded: (disabled)-> disabled (disabled)-> disabled2 (restart)-> wait_til_disabled (timer)-> may_be_occupied (timer)-> occupied (known)-> can_power_on (yes_power)-> powered_on (real_power_on)-> check_power_on (timer)-> check_power_on (power_on_ok)-> wait_til_online
May 10 05:08:28 GMT: %C6KPWR-4-DISABLED: power to module in slot 2 set off (Module Failed SCP dnld)
May 10 05:14:12 GMT: %ONLINE-6-REGN_TIMER: Module 2, Proc. 0. Failed to bring online because of registration timer event
sm(cygnus_oir_bay slot2), running yes, state wait_til_online
Last transition recorded: (disabled)-> disabled (disabled)-> disabled2 (restart)-> wait_til_disabled (timer)-> may_be_occupied (timer)-> occupied (known)-> can_power_on (yes_power)-> powered_on (real_power_on)-> check_power_on (timer)-> check_power_on (power_on_ok)-> wait_til_online
May 10 05:14:12 GMT: %C6KPWR-4-DISABLED: power to module in slot 2 set off (Module Failed SCP dnld)
May 10 05:14:12 GMT: %OIR-4-RESTART: The card in slot 2 has reached the maximum number of 5 restarts, this card will be disabled

Commentaires:

Date: Sun, 13 May 2012 00:57:26 +0200

comme c'est un routeur qui a moins de 3 mois il faut utiliser RMA qui prend plusieurs jours et pas le smartnet en 2H.

Reseau Internet et Baies:: DECIX 2x40G vers 2x60G

Wed, 16 May 2012 22:56:49 +0200

Type de tâche: Amélioration

Catégorie: tout le reseau

Etat: Finie

Nous augmentons la capacité de DECIX de 2x(4x10G)
à 2x(6x10G).

Le 1er LAG est à 6x10G. Le 2ème est en test.

Commentaires:

Date: Wed, 16 May 2012 22:56:46 +0200

Decix est connecté à 2x60G

Reseau Internet et Baies:: vss-7ab

Wed, 16 May 2012 22:55:12 +0200

Type de tâche: Incident

Catégorie: tout le reseau

Etat: Finie

On est dessus.

Commentaires:

Date: Wed, 16 May 2012 20:23:05 +0200

Et pour l'instant on ne trouve pas (ça fait 1 heure qu'on cherche pourquoi le systeme fait des pertes de packets).

Date: Wed, 16 May 2012 21:03:17 +0200

on fait faire une longe liste de ce que ce n'est pas. on a une idée.

Date: Wed, 16 May 2012 21:04:33 +0200

on coupe electriquement le module 9 du vss-7a. le trafic bascule sur le vss-7b

Date: Wed, 16 May 2012 21:07:55 +0200

on redemarre la carte. dés que tout est up on va isoler la carte 9 du routeur b.

Date: Wed, 16 May 2012 21:15:43 +0200

depuis que la carte est up, tout semble d'être stable. donc le probleme semble venir d'un probleme hard ou soft sur la carte #9. on garde l'oeil sur elle car on n'a aucun log qui puisse nous prouver qu'elle a le moindre le probleme. une chasse dans le noir et sans la lumiere.

Date: Wed, 16 May 2012 21:18:42 +0200

on a vu ça ce matin sur le vss-7a May 16 08:50:14.344: %SIBYTE-DFC9-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 25) May 16 10:40:37.571: %SIBYTE-DFC6-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 6) May 16 13:34:42.817: %SIBYTE-DFC3-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 13) May 16 14:15:15.547: %SIBYTE-DFC3-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 14)

Date: Wed, 16 May 2012 21:20:10 +0200

May 16 07:49:28 vss-7a-6k 59778: May 16 05:49:03.406: %SIBYTE-DFC3-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 12) May 16 10:50:39 vss-7a-6k 59839: May 16 08:50:14.344: %SIBYTE-DFC9-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 25) May 16 12:41:02 vss-7a-6k 59893: May 16 10:40:37.571: %SIBYTE-DFC6-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 6) May 16 15:35:07 vss-7a-6k 59977: May 16 13:34:42.817: %SIBYTE-DFC3-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 13) May 16 16:15:40 vss-7a-6k 59989: May 16 14:15:15.547: %SIBYTE-DFC3-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 14) May 16 19:09:32 vss-7a-6k 60050: May 16 17:09:07.213: %SIBYTE-DFC3-4-SB_EXCESS_COLL: Excessive collisions on mac 1 (count: 15)

Reseau Internet et Baies:: AMSIX 2x40G à 2x80G

Wed, 16 May 2012 21:56:54 +0200

Type de tâche: Amélioration

Catégorie: tout le reseau

Etat: En cours

Nous augmentons la capacité de l'AMSIX
de 2x(4x10G) à 2x(6x10G) et de suite
apres à 2x(8x10G).

Commentaires:

Date: Wed, 16 May 2012 21:56:54 +0200

L'une des intercos est upgradée à 60G. La 2ème est en cours de test.

Date: Wed, 16 May 2012 22:55:36 +0200

Amsix est connecté à 2x60G

Hébergements mutualisés:: lenteurs le soir

Wed, 16 May 2012 18:51:26 +0200

Type de tâche: Incident

Catégorie: tous les plans

Etat: Finie

Des utilisateurs nous remontent des problèmes de lenteurs de connexion sur l'ensemble des sites mutualisés le soir.
Un diagnostique est en cours pour corriger ce problème au plus vite.

Commentaires:

Date: Fri, 11 May 2012 11:15:16 +0200

L'origine du problème a été identifié au niveau d'un équipement réseau. Nous travaillons à sa résolution.

Date: Sun, 13 May 2012 00:59:12 +0200

les 2 repartisseurs de charge AX sont un peu chargé le soir. on cherche l'origine du probleme. on teste une nouvelle version du software. http://travaux.ovh.net/?do=details&id=6720

CDN:: Paris

Wed, 16 May 2012 18:23:53 +0200

Type de tâche: Maintenance

Catégorie: Paris DC1

Etat: Finie

We are updating configuration on this node. Partial slowdowns may be noticed.

Reseau Internet et Baies:: Switch 178.33.230.248/249

Wed, 16 May 2012 18:10:48 +0200

Type de tâche: Incident

Catégorie: Roubaix 4

Etat: En cours

Nous rencontrons des perturbations sur le réseau 178.33.231.0/24

Cela provoque des pertes de connexion intermittentes.

Nous investiguons.

Commentaires:

Date: Wed, 25 Apr 2012 16:33:37 +0200

Nous avons un problème avec la FEX 106. Nous allons procéder à son changement. Une coupure de courte durée est à prévoir.

Date: Wed, 25 Apr 2012 17:20:29 +0200

Done

Date: Wed, 25 Apr 2012 17:31:38 +0200

Le problème n'est pas fixé. On reboot l'un des 2 switchs.

Date: Wed, 25 Apr 2012 17:42:21 +0200

Même problème. On redémarre l'autre switch de la paire.

Date: Wed, 25 Apr 2012 18:50:10 +0200

Le problème persiste. Il concerne uniquement le réseau 178.33.231. Pour une raison que nous ignorons, sur ce réseau, le trafic unicast vers les fw semble être broadcasté. On isole le switch 249 pour essayer de mettre en évidence un pb sur celui ci.

Date: Thu, 03 May 2012 12:30:43 +0200

Nous recherchons l'origine du bug avec Cisco.

Date: Thu, 03 May 2012 16:36:46 +0200

L'infrastructure est a nouveau opérationnelle. Nous recherchons l'origine du problème.

Date: Wed, 16 May 2012 18:16:16 +0200

Apres recherche de l'équipe technique de Cisco il en résulte que c'est un bug sur le N5. Ce bug a été remonté a l'équipe de développement de switchs Cisco afin de fixer ce bug.

Datacenters:: UPS 7 : remplacement des batteries

Wed, 16 May 2012 18:02:33 +0200

Type de tâche: Maintenance

Catégorie: Roubaix 1

Etat: Plannifiée

Nous effectuons le remplacement des batteries sur cet onduleur
(durée de vie atteinte).

Nous profitons de ce changement pour déplacer les batteries ailleurs.
A la fin des opérations, pendant la phase de raccordement, l'onduleur
sera by-passé.