rssLink RSS for all categories
 
icon_red
icon_red
icon_green
icon_blue
icon_orange
icon_green
icon_green
icon_red
icon_red
icon_blue
icon_green
icon_green
icon_green
icon_green
icon_red
icon_orange
icon_green
icon_green
icon_red
icon_red
icon_red
icon_green
icon_orange
icon_red
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_orange
 

FS#4279 — p19-53/p19-54

Attached to Project— Hébergements web
Incident
tous les datacenters
CLOSED
100%
Depuis 7h de ce matin, nous avons un probleme bizarre
entre les Nexus 5000 et les Catalyst 6500
Date:  Saturday, 12 June 2010, 11:13AM
Reason for closing:  Done
Comment by OVH - Saturday, 12 June 2010, 09:15AM

Nous avons de probleme de packet input sur les 6000.
Rien sur les Nexus 5000.

Nous avons redemarré le p19-53-n5 puis p19-54-n5.
ils sont en cluster donc chacun a pris le relay
de l'autre. Toujours le probleme.

Le probleme est sur tous les ports de tous les 6K
qui sont connectés vers les N5.

p19-57-6k#sh inter counters errors module 6

Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te6/1 0 0 0 0 0 0
Te6/2 0 0 0 0 0 0
Te6/3 0 0 0 0 0 0
Te6/4 0 0 0 74 0 0

Sur les N5 on utilise du virtual port channel sur 2 équipements.


C'est comme si les Nexus balancaient tellement de trafic que
le 6K n'arrivait pas à prendre ...

...

hmm ... on va augmenter les tailles de queue en input sur
les 6K

wrr-queue bandwidth 255 255 255 255 255 255 255
wrr-queue queue-limit 100 100 100 100 100 100 100
wrr-queue threshold 1 100 100 100 100 100 100 100 100
wrr-queue threshold 2 100 100 100 100 100 100 100 100
wrr-queue random-detect min-threshold 3 100 100 100 100 100 100 100 100
wrr-queue random-detect max-threshold 1 100 100 100 100 100 100 100 100
wrr-queue random-detect max-threshold 2 100 100 100 100 100 100 100 100
wrr-queue cos-map 1 4 0 1
wrr-queue cos-map 3 1 6
wrr-queue cos-map 7 8 7
rcv-queue bandwidth 255 255 255 255 255 255 255 255
rcv-queue queue-limit 100 100 100 100 100 100 100 100
rcv-queue threshold 1 100 100 100 100 100 100 100 100
rcv-queue random-detect min-threshold 1 100 100 100 100 100 100 100 100
rcv-queue random-detect max-threshold 1 100 100 100 100 100 100 100 100
rcv-queue cos-map 1 1 2 3
rcv-queue cos-map 1 8 0 1
rcv-queue cos-map 2 8 4 6
rcv-queue cos-map 7 8 7
rcv-queue cos-map 8 8 5


Comment by OVH - Saturday, 12 June 2010, 09:20AM

on essaie de voir si avec le flowcontrol c'est mieux


Comment by OVH - Saturday, 12 June 2010, 09:28AM

sur n5 on peut mettre flowcontrol sur le port channel et pas sur les port physiques
et sur 6k on peut mettre flowcontrol sur les ports physique et pas sur le port channel.
j'adore.


Comment by OVH - Saturday, 12 June 2010, 09:29AM

Les erreurs augmente toujours, mais il n'y a plus de probleme de
detection de MAC entre les cartes de repartition de charge et les
serveurs.

p19-57-6k#sh inter counters errors module 6

Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te6/1 0 0 0 0 0 0
Te6/2 0 0 0 0 0 0
Te6/3 0 0 0 0 0 0
Te6/4 0 0 0 146 0 0

Port Single-Col Multi-Col Late-Col Excess-Col Carri-Sen Runts Giants
Te6/1 0 0 0 0 0 0 0
Te6/2 0 0 0 0 0 0 0
Te6/3 0 0 0 0 0 0 15
Te6/4 0 0 0 0 0 0 0

Port SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err
Te6/1 0 0 0 0 0
Te6/2 0 0 0 0 0
Te6/3 0 0 0 0 0
Te6/4 0 0 0 0 0


on va ajouter un 2ème port 10G dans les port channels
entre les 6k et les N5. si on faire repartir le trafic
sur 2 ports 10G au lieu d'1, ça devrait mieux marcher.


Comment by OVH - Saturday, 12 June 2010, 11:11AM

Avec 4x10G /6500, ça va mieux mais dés qu'un port 10G se
prend plus de 300'000 packets/seconds à partir d'un N5,
il a des erreurs sur input quand même.

On va remonter les bugs chez Cisco.


Comment by OVH - Saturday, 12 June 2010, 11:13AM

p19-57-6k#sh inter t6/4 | i 30 sec
30 second input rate 1276919000 bits/sec, 316372 packets/sec
30 second output rate 1149697000 bits/sec, 204839 packets/sec
p19-57-6k#sh inter t7/1 | i 30 sec
30 second input rate 364833000 bits/sec, 68728 packets/sec
30 second output rate 1142250000 bits/sec, 205848 packets/sec
p19-57-6k#sh inter t7/3 | i 30 sec
30 second input rate 1404992000 bits/sec, 344054 packets/sec
30 second output rate 1042913000 bits/sec, 199855 packets/sec
p19-57-6k#sh inter t7/4 | i 30 sec
30 second input rate 342808000 bits/sec, 65034 packets/sec
30 second output rate 1081846000 bits/sec, 194390 packets/sec

p19-57-6k#sh inter cou err mod 6
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te6/4 0 0 0 271 0 0
Port Single-Col Multi-Col Late-Col Excess-Col Carri-Sen Runts Giants
Te6/4 0 0 0 0 0 0 0
Port SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err
Te6/4 0 0 0 0 0
p19-57-6k#sh inter cou err mod 7
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
Te7/1 0 0 0 0 0 0
Te7/3 0 0 0 142 0 0
Te7/4 0 0 0 0 0 0
Port Single-Col Multi-Col Late-Col Excess-Col Carri-Sen Runts Giants
Te7/1 0 0 0 0 0 0 0
Te7/3 0 0 0 0 0 0 0
Te7/4 0 0 0 0 0 0 0
Port SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err
Te7/1 0 0 0 0 0
Te7/3 0 0 0 0 0
Te7/4 0 0 0 0 0