OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
var-1-6k
Incident Report for Network & Infrastructure
Resolved
Il y a actuellement une maintenance électrique en cours dans le batiment.
Le routeur a été impacté durant cette maintenance.

Il reping a l'instant, mais n'est pas encore complement opérationel.
le CPU est à 100%
CPU utilization for five seconds: 99%/5%; one minute: 99%; five minutes: 70%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
575 202948 2182 93010 53.94% 49.81% 36.65% 0 BGP Router
330 42060 648 64907 13.38% 12.23% 7.63% 0 IP RIB Update


D'autre maintenance électrique sont prévus cette semaine dans le batiment: mardi/mercredi et jeudi.





Update(s):

Date: 2014-11-18 18:32:24 UTC
Le trafic s'ecoule de nouveau normalement.

Date: 2014-11-18 16:36:23 UTC
Nous avons trouvé la cause, la carte de spare livrée n'avait sa barrette de RAM de 1gb pour la DFC (seulement 256meg).
Il n'y avait donc pas assez de mémoire disponible pour programmer les entrées CEF

Nous remettons le trafic sur les interfaces.


Date: 2014-11-18 10:58:55 UTC
La carte remplacée hier pose problème, le trafic semble mal forwardé.
J'ai shutté les ports, nous investiguons avec Cisco

Date: 2014-11-18 01:18:34 UTC
La maintenance est terminé mais les liens sont toujours down chez Level3 entre var et ams.
Un ticket a été ouvert

Date: 2014-11-18 00:56:41 UTC
tt les lien vers Fra sont maintenant up
var-5-6k-SUP2T#sh int status | i fra
Te1/5 1|fra-1:t7/3(int:4 connected routed full 10G 10Gbase-LR
Te1/6 1|fra-5:t5/3(int:7 connected routed full 10G 10Gbase-LR
Te2/3 2|fra-1-6k(int:127 connected routed full 10G 10Gbase-LR
Te2/4 2|fra-5-6k(int:127 connected routed full 10G 10Gbase-LR
Te2/5 1|fra-1:t7/4(int:5 connected routed full 10G 10Gbase-LR
Te2/6 1|fra-5:t7/3(int:7 connected routed full 10G 10Gbase-LR
Te3/3 2|fra-1-6k(int:127 connected routed full 10G 10Gbase-LR
Te3/4 2|fra-5-6k(int:127 connected routed full 10G 10Gbase-LR
Po3 2|fra-1-6k(int) connected routed a-full 10G
Po4 2|fra-5-6k(int) connected routed a-full 10G
Po6 1|fra-1-6k(old_int connected routed a-full 10G
Po7 1|fra-5-6k(old_int connected routed a-full 10G

reste les lien de var-1 vers amsterdam

Date: 2014-11-18 00:52:10 UTC
une partie des liens vers Frankfurt sont revenus

Date: 2014-11-18 00:32:50 UTC
les 2 routeurs sont revenus.
Var-1 a reloadé.
var-5 n'a pas reloader

Il doit y avoir un problème chez nos fournisseur:
Les lien entre var-5 et francfort sont down via Interoute et nos lien entre ams-1 et var-1 via Level3


Date: 2014-11-18 00:20:16 UTC
Nouvelle maintenance électrique dans le bâtiment, var-1 et 5 sont injoignables.
le CDN de Varsovie est impacté


La nuit va être longue a Varsovie.

Date: 2014-11-18 00:05:35 UTC
la carte a été remplacée.

Nous avons cependant un problème sur l'un des lien entre var-1-6k et var-5-6k
pas de CRC ni d'erreur et pourtant le traffic ne s’écoule pas normalement lorsque ce port est dans le bundle.

Nous avons shutté le port, nous ferons le troubleshoot avec le datacentre des demain matin.

Date: 2014-11-17 14:13:02 UTC
le module 3 est HS.

var-1-6k#sh mod | i Pwr
3 001d.70aa.3874 to 001d.70aa.3877 2.7 12.2(14r)S5 12.2(33)SXI1 PwrDown
3 Distributed Forwarding Card WS-F6700-DFC3BXL SAL1426LAE1 5.6 PwrDown

Nov 17 11:45:06.019: %SYS-DFC3-5-RESTART: System restarted --
Nov 17 11:45:06.023: DFC3: Currently running ROMMON from S (Gold) region
Nov 17 12:45:13 GMT: %EARL_L3_ASIC-DFC3-3-INTR_WARN: EARL L3 ASIC: Non-fatal interrupt Adj. table interface interrupt

Nov 17 12:45:28 GMT: %PM_SCP-SP-1-LCP_FW_ERR: System resetting module 3 to recover from error: Linecard received system exception. Errcode =
Nov 17 12:45:28 GMT: %OIR-SP-3-PWRCYCLE: Card in module 3, is being power-cycled 'Off (Module Reset due to exception or user request)'
Nov 17 12:45:28 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 3 set Off (Module Reset due to exception or user request)

Un RMA est en cours.
Posted Nov 17, 2014 - 01:04 UTC