RSS for all categories
FS#4037 — P19: UPS5
Attached to Project— Datacenters
| Incident | |
| Paris 19 | |
| CLOSED | |
 |
Un départ de feu a eu lieu sur UPS5. Il a été maitrisé rapidement par notre équipe.
UPS5 est actuellement en by-pass ainsi que les onduleurs à proximité par prévention (UPS6,7,8).
Un technicien du constructeur est sur place.
Il n'y a pas d'impact sur le fonctionnement des serveurs. Toutefois, les salles 2, 3 et 5.1 sont temporairement alimentées directement par EDF.
Date: Friday, 09 April 2010, 18:11PMUPS5 est actuellement en by-pass ainsi que les onduleurs à proximité par prévention (UPS6,7,8).
Un technicien du constructeur est sur place.
Il n'y a pas d'impact sur le fonctionnement des serveurs. Toutefois, les salles 2, 3 et 5.1 sont temporairement alimentées directement par EDF.
Reason for closing: Done
UPS6: une pièce doit être remplacée, l'onduleur reste en bypass
UPS8: fonctionnement revenu à la normale
UPS7: fonctionnement revenu à la normale
La pièce pour UPS6 sera remplacée dans la journée.
UPS5 va être diagnostiqué pour connaitre l'étendue du problème.
Actuellement, une partie des salles 2 et 3 est alimentée en direct (UPS en bypass).
La piece pour UPS 6 a été réceptionné et mise en service.
UPS 6 fonctionne a nouveau correctement.
Il n'y a finalement pas d'espoir de réparation "on-line" d'UPS 5. Une coupure électrique sera nécessaire pour remplacer les équipements défectueux.
80% de la charge est utilisée pour nos équipements et 20% pour alimenter des serveurs dédiés, qui vont donc être arrêté une heure environ pendant la nuit. La date est encore à définir en fonction de l'avancement de nos électriciens.
Les clients concernés vont être informés.
L'intervention a été programmée pour la nuit du mardi 6 avril au mercredi 7 avril à partir de minuit.
Il faudra compter 2 heures de coupure électrique maximum pour les serveurs concernés plus le temps de redémarrage/check/etc.
Les emails sont en train d'être envoyés aux clients.
Nous allons démarrer l'intervention dans moins de 30 minutes.
Les serveurs sur lesquels nous avions l'accès SSH viennent d'être arrêtés.
UPS5 vient d'être coupé. Les électriciens interviennent.
Les serveurs sont réalimentés depuis 10 minutes.
Il reste 10 serveurs qui ne démarrent pas par eux-même. En général, il s'agit d'un fsck à forcer.
La maintenance est terminée pour cette nuit.
UPS5 va pouvoir être remis en service par le constructeur. On pense le remettre en prod jeudi soir.
La remise en service est prévue vendredi en début d'après-midi. Pas d'impact prévu sur les serveurs.
Nous sommes en train de remettre en service UPS5.
Il y a eu un défaut sur la phase n°3 lors de la remise en service. Plusieurs serveurs en salle 2 ont été touchés.
L'UPS est retourné sur bypass.
Le fusible de la phase 3 était HS bien que le percuteur n'apparaissait pas défectueux lors de la vérification par le technicien.
Nous procédons à la remise en service dans quelques minutes.
La charge est désormais alimentée correctement par l'onduleur. On a procédé à un test de décharge batterie pour valider son fonctionnement. Tout est en ordre.