OVHcloud Private Cloud Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
pcc-22 et pcc-25
Incident Report for Hosted Private Cloud
Resolved
Nous venons de detecter 2 switch down.
Nous intervenons.

Update(s):

Date: 2011-09-29 12:24:03 UTC
pcc-22-n5(config-if-range)# sh proc cpu sort

PID Runtime(ms) Invoked uSecs 1Sec Process
----- ----------- -------- ----- ------ -----------
3206 211 139 1519 20.9% netstack

20%-30% pour le traitement software.


Date: 2011-09-29 12:23:28 UTC
nous avons trouvé l'origine du probleme dû à une
erreur humaine et un bug: un technicien a pris
une IP déjà en production pcc-25 pour un autre
équipement. dû l'alerte sur le pcc-25. qui n'a
pas planté et n'a pas degradé le service. le
technicien a aussi pris l'IP du pcc-22 et là
le switch n'a pas aimé et a planté le switching
(!!)

il a été mis à jour avec la version
n5000-uk9.5.1.3.N1.0.254.bin
on a viré le spantree. on protege le CPU contre
les packets BPDU qu'on a sur le reseau et qui
sont traités en software.

Date: 2011-09-29 10:27:26 UTC
pcc-22 a une version stable de NX-OS mais pour
contourner un bug qui bouffe le CPU du N5 nous
avons activé le spantree.

Depuis nous avons reçu une version alpha de NX-OS
que nous utilisons sur tous les autres pcc-XX-n5
et qui permet de proteger le CPU dans une certaine
mesure. en attandant la beta la semaine prochaine.

nous allons mettre la version alpha sur pcc-22

Date: 2011-09-29 10:22:24 UTC
pcc-25 est revenu.

pcc-22 n'a pas planté completement mais partiellement
et donc il n'a pas coupé les ports de hosts. nus avons
coupé les port de pcc-22 à la main et le traffic a été
repris par le pcc-23 sur l'autre carte réseau des hosts.
Posted Sep 29, 2011 - 10:15 UTC