OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Probleme sur le transformateur n°3
Incident Report for Network & Infrastructure
Resolved
Le transformateur n°3 pose un probleme. Nous sommes
en train d'intervenir pour le rearmer.

Il alimente les salles 4.1/4.2/4.3/4.4 et 4.5
(les offres HG). Les onduleurs qui s'occupent de
ces salles ont tenu les 15 minutes et sont actuellement
déchargés.

Update(s):

Date: 2006-06-13 11:20:25 UTC
Bonjour,
Nous avons connu un problème sur le transformateur n°3 aujourd'hui
un peu après 11h. Suite à de travaux prévus dans la cellule moyenne
tension du transformateur n°3, le transformateur s'est mis en défaut.
Nous ne connaissons pas encore pourquoi il s'est mis en défaut. Ce
transformateur alimente 3 gros onduleurs de salles 4 (4.1/4.2/4.3/4.4/4.5)
et la salle 3.

Le transformateur n°2 n'a pas pris le relais du transformateur n°3.
Dans la configuration normale c'est le transformateur n°3 qui est
le transformateur de secours de n°1 et n°2. Pour finaliser certains
travaux électrique (la salle 5 et 6), nous avons passé sur le
transformateur n°3 il y a quelques semaines et nous devions passer
en configuration normal sous 2-3 semaines.

Les onduleurs ont tenu 15-30 minutes (suivant les parties des salles).
Puis le courant a coupé, d'abord sur les salles 4 puis une partie de
la salle 3 puis toute la salle 3. C'est à dire: l'ensemble de serveurs
HG, une partie de filers mutu, et les serveurs dédiés livrés depuis
le début de l'année. Vers 11h40, la panne a touché les hébergements
mutualisés à cause des pannes de certains filers.

Les autres parties du datacentre n'ont pas été touchées par le problème
puisque le transformateur n°1 continue à fonctionner avec ses 4 onduleurs.

Le transformateur n°3 a été réarmé vers 11h50 (une procédure de
sécurité avec les clés EDF entre la basse tension 400V et la moyenne
tension 20'000V). Ça a pris beaucoup de temps à cause d'une clé qui
ne voulait pas sortir. Nous avons refait la procédure avec les clés
plusieurs dizaines de fois, mais la clé ne voulait toujours pas sortir
(sans cette clé impossible de réarmer 20'000V). Le problème n'était pas
dans la procédure mais dans le fait que ... la clé s'est collée à la
serrure et il fallait la forcer vraiment pour l'avoir.

Depuis 1h, tout est à nouveau alimenté. Nous finissons la remise
en route de serveurs qui ne sont pas encore revenus. La panne électrique
a duré environ 25 minutes (entre le moment où les premiers onduleurs
ont coupé et la remise du courant 20'000V).

Désolé pour cet incident. Il nous a permit constater que malgré
de formations régulières de nos équipes pour gérer le datacentre,
en cas d'un incident, nous devons réagir avec du sang froid et
une logique mais surtout maîtriser le taux d'adrénaline.

Amicalement
Octave

Date: 2006-06-13 10:14:38 UTC
Le transformateur n°3 est à nouveau up. Les serveurs sont en
train de revenir.

Date: 2006-06-13 10:10:18 UTC
Dans environ 10 minutes on devrait avoir un retour à la normal

Date: 2006-06-13 10:05:23 UTC
Les 3 onduleurs se sont dechargés. La salle 3 est aussi en panne.

Le transformateur n°3 n'est toujours pas armé et le basculement
vers le transformateur n°2 (automatique) n'a pas fonctionné.
Nous cherchons à remettre l'installation en marche.
Posted Jun 13, 2006 - 09:27 UTC