OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
p19-53/p19-54
Incident Report for Web Cloud
Resolved
Depuis 7h de ce matin, nous avons un probleme bizarre
entre les Nexus 5000 et les Catalyst 6500

Update(s):

Date: 2010-06-12 09:13:21 UTC
p19-57-6k#sh inter t6/4 | i 30 sec
30 second input rate 1276919000 bits/sec, 316372 packets/sec
30 second output rate 1149697000 bits/sec, 204839 packets/sec
p19-57-6k#sh inter t7/1 | i 30 sec
30 second input rate 364833000 bits/sec, 68728 packets/sec
30 second output rate 1142250000 bits/sec, 205848 packets/sec
p19-57-6k#sh inter t7/3 | i 30 sec
30 second input rate 1404992000 bits/sec, 344054 packets/sec
30 second output rate 1042913000 bits/sec, 199855 packets/sec
p19-57-6k#sh inter t7/4 | i 30 sec
30 second input rate 342808000 bits/sec, 65034 packets/sec
30 second output rate 1081846000 bits/sec, 194390 packets/sec

p19-57-6k#sh inter cou err mod 6
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te6/4 0 0 0 271 0 0
Port Single-Col Multi-Col Late-Col Excess-Col Carri-Sen Runts Giants
Te6/4 0 0 0 0 0 0 0
Port SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err
Te6/4 0 0 0 0 0
p19-57-6k#sh inter cou err mod 7
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te7/1 0 0 0 0 0 0
Te7/3 0 0 0 142 0 0
Te7/4 0 0 0 0 0 0
Port Single-Col Multi-Col Late-Col Excess-Col Carri-Sen Runts Giants
Te7/1 0 0 0 0 0 0 0
Te7/3 0 0 0 0 0 0 0
Te7/4 0 0 0 0 0 0 0
Port SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err
Te7/1 0 0 0 0 0
Te7/3 0 0 0 0 0
Te7/4 0 0 0 0 0


Date: 2010-06-12 09:11:22 UTC
Avec 4x10G /6500, ça va mieux mais dés qu'un port 10G se
prend plus de 300'000 packets/seconds à partir d'un N5,
il a des erreurs sur input quand même.

On va remonter les bugs chez Cisco.

Date: 2010-06-12 07:29:35 UTC
Les erreurs augmente toujours, mais il n'y a plus de probleme de
detection de MAC entre les cartes de repartition de charge et les
serveurs.

p19-57-6k#sh inter counters errors module 6

Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te6/1 0 0 0 0 0 0
Te6/2 0 0 0 0 0 0
Te6/3 0 0 0 0 0 0
Te6/4 0 0 0 146 0 0

Port Single-Col Multi-Col Late-Col Excess-Col Carri-Sen Runts Giants
Te6/1 0 0 0 0 0 0 0
Te6/2 0 0 0 0 0 0 0
Te6/3 0 0 0 0 0 0 15
Te6/4 0 0 0 0 0 0 0

Port SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err
Te6/1 0 0 0 0 0
Te6/2 0 0 0 0 0
Te6/3 0 0 0 0 0
Te6/4 0 0 0 0 0


on va ajouter un 2ème port 10G dans les port channels
entre les 6k et les N5. si on faire repartir le trafic
sur 2 ports 10G au lieu d'1, ça devrait mieux marcher.

Date: 2010-06-12 07:28:03 UTC
sur n5 on peut mettre flowcontrol sur le port channel et pas sur les port physiques
et sur 6k on peut mettre flowcontrol sur les ports physique et pas sur le port channel.
j'adore.

Date: 2010-06-12 07:20:17 UTC
on essaie de voir si avec le flowcontrol c'est mieux

Date: 2010-06-12 07:15:32 UTC
Nous avons de probleme de packet input sur les 6000.
Rien sur les Nexus 5000.

Nous avons redemarré le p19-53-n5 puis p19-54-n5.
ils sont en cluster donc chacun a pris le relay
de l'autre. Toujours le probleme.

Le probleme est sur tous les ports de tous les 6K
qui sont connectés vers les N5.

p19-57-6k#sh inter counters errors module 6

Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te6/1 0 0 0 0 0 0
Te6/2 0 0 0 0 0 0
Te6/3 0 0 0 0 0 0
Te6/4 0 0 0 74 0 0

Sur les N5 on utilise du virtual port channel sur 2 équipements.


C'est comme si les Nexus balancaient tellement de trafic que
le 6K n'arrivait pas à prendre ...

...

hmm ... on va augmenter les tailles de queue en input sur
les 6K

wrr-queue bandwidth 255 255 255 255 255 255 255
wrr-queue queue-limit 100 100 100 100 100 100 100
wrr-queue threshold 1 100 100 100 100 100 100 100 100
wrr-queue threshold 2 100 100 100 100 100 100 100 100
wrr-queue random-detect min-threshold 3 100 100 100 100 100 100 100 100
wrr-queue random-detect max-threshold 1 100 100 100 100 100 100 100 100
wrr-queue random-detect max-threshold 2 100 100 100 100 100 100 100 100
wrr-queue cos-map 1 4 0 1
wrr-queue cos-map 3 1 6
wrr-queue cos-map 7 8 7
rcv-queue bandwidth 255 255 255 255 255 255 255 255
rcv-queue queue-limit 100 100 100 100 100 100 100 100
rcv-queue threshold 1 100 100 100 100 100 100 100 100
rcv-queue random-detect min-threshold 1 100 100 100 100 100 100 100 100
rcv-queue random-detect max-threshold 1 100 100 100 100 100 100 100 100
rcv-queue cos-map 1 1 2 3
rcv-queue cos-map 1 8 0 1
rcv-queue cos-map 2 8 4 6
rcv-queue cos-map 7 8 7
rcv-queue cos-map 8 8 5
Posted Jun 12, 2010 - 05:30 UTC