OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
route reflector IPv4
Scheduled Maintenance Report for Network & Infrastructure
Completed
Nous allons simplifier les configurations sur le reseau
en mettant en place 3 routeurs refletor qui vont prendre
et centraliser toutes les annonces BGP de tous les
routeurs de notre backbone, recalculer la meilleur
route puis redistribuer la table BGP sur tous les
routeurs. On devrait gagner en performance BGP et en
fiabilitée sur les coupures de fibre optiques.

Update(s):

Date: 2010-09-25 16:08:03 UTC
Nous avons toujours les messages d'erreurs sur les 3 routes collectos:

Sep 25 13:51:50 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:02:00 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:12:10 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:22:20 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:32:30 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:42:40 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:52:50 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 15:03:00 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 15:13:10 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%

Il s'agit probablement d'un bug repertorié chez cisco CSCtd83822

CSCtd83822

Increasing memory usage of `reflector.sh' and `droputil.sh' process may occur on the ASR 1000 Router Series.

Workaround: None

https://supportforums.cisco.com/thread/2040810?decorator=print&displayFullThread=true
http://www.cisco.com/en/US/docs/ios/ios_xe/2/release/notes/rnasr21.html



Date: 2010-09-21 23:18:49 UTC
fini.

Date: 2010-09-21 22:17:15 UTC
On va nettoyer toutes les sessions BGP inutiles.

Date: 2010-09-19 13:56:35 UTC
Les travaux sur le reflector IPv4 sont terminés.
On va commencer les travaux sur l'IPv6.

Date: 2010-09-08 17:53:06 UTC
fait

Date: 2010-09-08 17:03:03 UTC
rbx-99 cloud computing

Date: 2010-09-08 16:50:30 UTC
vss-3 fait.

Date: 2010-09-08 16:48:50 UTC
vss-1 fait.

Date: 2010-09-08 16:42:14 UTC
vss-2 fait.

Date: 2010-09-08 16:35:55 UTC
c'est fait.

On va enlever les mêmes routes de BGP.

Date: 2010-09-08 15:44:23 UTC
On va inserer les routes OSPF dans le reseau.

Date: 2010-09-07 02:24:58 UTC
Désormais toute la backbone tourne dans la configuration
\"route reflector\".

Il reste:
- les reecritures de BGP vers OPSF au niveau de certaines
interfaces
- passer IPv6 sur la configuration \"route reflector\".

Date: 2010-09-07 02:24:03 UTC
Nous avons terminé les travaux par les basculements
vers les routes reflector de ip failover à p19, roubaix1
et dc1/gsw au niveau du housing.
http://travaux.ovh.com/?do=details&id=4563
http://travaux.ovh.com/?do=details&id=4562
http://travaux.ovh.com/?do=details&id=4561

Date: 2010-09-07 01:09:08 UTC
on va couper les annonces de routeurs m1/m2 à roubaix1 vers rbx-1
c'est les 3 routeurs reflector qui vont reprendre les annonces.

Date: 2010-09-07 01:08:33 UTC
th2 fait
gsw-1 fait
gsw-2 fait
rbx-1 fait
rbx-2 fait

Date: 2010-09-06 18:00:23 UTC
fait.

th2

Date: 2010-09-06 17:48:34 UTC
on continue avec le th1

Date: 2010-09-03 09:28:47 UTC
tous les m1/m2 sont dans les 3 routes reflectors.

Date: 2010-09-01 14:38:14 UTC
On met en place le 3ème rf.

Date: 2010-08-31 17:07:51 UTC
on va basculer le rf-1 sur le nouveau hardware.

Date: 2010-08-28 13:05:05 UTC
fait.

bru-1
fait

Date: 2010-08-28 12:29:02 UTC
on attaque fra-5. 175Mo de RAM dispo.

Date: 2010-08-26 13:03:46 UTC
Aug 26 15:03:41 20G.ldn-1-6k.routers.ovh.net 73683: Aug 26 14:03:17 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF


Date: 2010-08-26 12:58:29 UTC
ldn-1-6k#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 44B199D0 927852080 879716120 48135960 33992048 26522704
I/O 8000000 67108864 11968016 55140848 50129760 54998488

partant ?

Date: 2010-08-26 12:53:45 UTC
ams-1-6k

crash

http://travaux.ovh.com/?do=details&id=4511

Date: 2010-08-26 11:23:22 UTC
p19-7

Date: 2010-08-26 08:59:43 UTC
fait
P19-57
fait
p19-2

Date: 2010-08-26 08:48:49 UTC
On passe à p19-52

Date: 2010-08-24 22:20:22 UTC
La configuration rf-1 et rf2 est pareil.

On va pouvoir continuer la mise en place de route reflector
dés demain sur les routeurs plus compliqués en terme de
configuration. Pas mal de choses à verifier.

Date: 2010-08-24 22:01:00 UTC
Aug 24 21:53:44 UTC: %PLATFORM-4-ELEMENT_WARNING: R0/0: smand: ESP/0: Committed Memory value 311% exceeds warning level 310%


Date: 2010-08-24 21:59:01 UTC
Nous avons mis en place rf-2-a1. Les sessions sont en cours
de montage avec tous les routeurs de la backbone.

Date: 2010-08-24 15:09:46 UTC
Nous avons reçu les ASR 1000.

rf-2-a1#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 2C085008 1821505244 160192080 1661313164 1660142120 1658947932
lsmpi_io 98BE21D0 6295088 6294120 968 968 968

2Go de RAM ... !?

http://www.cisco.com/en/US/products/ps9343/prod_models_comparison.html

on avait dit 4Go !? WTF ???


Date: 2010-08-23 17:07:26 UTC
mar-1-6k fait
mad-1-6k fait.

On arrete là pou aujourd'hui. On va regarder si tout marche déjà bien.

rf-1-6k#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 468A6CD0 896865072 846133672 50731400 9822828 10606192
I/O 8000000 67108864 21958860 45150004 43552040 44200284

50Mo libre. On avance dans la simplification du BGP :)


Date: 2010-08-23 16:38:23 UTC
lyo-1-6k fait
on passe à mar-1-6k

Date: 2010-08-23 16:27:01 UTC
TIX annonce aussi 194.42.48.0/24 en public. On va le contacter aussi.



Date: 2010-08-23 16:16:24 UTC
Aucun probleme

On passe à zur-1-6k

Date: 2010-08-23 16:12:23 UTC
Aucun probleme.

On passe à mil-1-6k

Date: 2010-08-23 16:05:52 UTC
Aucun probleme.

On passe à var-1-6k

Date: 2010-08-23 15:50:17 UTC
On va ajouter pra-1-6k dans le collector

Date: 2010-08-23 15:42:14 UTC
VIX fonctione sur 193.203.0.0/24 qui est un reseau privé.
Pour une raison inconnu VIX annonce ce reseau sur Internet.
Le trafic a été detourné. Nous avons filtré les annonces
pour eviter d'avoir 193.203.0.0/24 dans le BGP.

Date: 2010-08-23 15:21:13 UTC
On va mettre en place la configuration sur vie-1-6k

Date: 2010-08-20 11:48:11 UTC
On a pris un bon vieux 6509 en BXL et nous avons reussi
à monter toutes les sessions BGP de tous les routeurs.
Ca tient à la limite de la mémoire disponible: 1Go.

rf-1-6k#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 468A6CD0 896865072 850757364 46107708 9822828 10606192
I/O 8000000 67108864 21991872 45116992 44793952 44512252

Il faut 850Mo pour prendre toutes les infos de peers. Il reste 46Mo :)

Le routeur ne fait que ça. En attandant d'avoir les ASR 1000.

1 4 16276 4876914 117339 30402640 23 0 14:12:37 349852
2 4 16276 16905742 117333 30402640 0 0 14:06:13 431448
3 4 16276 18926841 117333 30402640 68 0 14:06:55 432619
4 4 16276 9158 140329 30402640 0 0 14:21:59 21415
6 4 16276 4694 140309 30402640 0 0 14:21:37 13029
8 4 16276 58 139558 30402640 0 0 00:55:08 3
1 4 16276 24580 116550 30402640 0 0 00:45:29 90369
3 4 16276 16063720 117316 30402640 0 0 13:49:16 432643
4 4 16276 4607205 117315 30402640 31 0 13:48:20 431427
5 4 16276 446715 117340 30402640 0 0 14:13:59 432622
6 4 16276 9738 140281 30402640 0 0 14:23:32 14880
7 4 16276 1320 119767 30402640 0 0 14:19:55 1285
8 4 16276 7998676 117334 30402640 0 0 14:07:23 432647
9 4 16276 6852706 117340 30402640 58 0 14:13:30 432622
0 4 16276 374696 117345 30402640 1 0 14:19:01 432622
1 4 16276 6332102 117315 30402640 29 0 13:48:46 423315
0 4 16276 21704 116549 30402640 0 0 00:44:18 97863
1 4 16276 16261554 117335 30402640 57 0 14:08:12 432621
4 4 16276 12933397 117314 30402640 0 0 13:47:49 430017
5 4 16276 5040207 117354 30402640 16 0 14:27:05 432612
2 4 16276 4328253 117361 30402734 10 0 14:24:32 432603
3 4 16276 16765697 117344 30402734 73 0 14:07:43 432621
4 4 16276 444294 117351 30402734 0 0 14:14:32 432626
5 4 16276 17336635 117324 30402734 11 0 13:47:09 431202
6 4 16276 18485 116558 30402734 0 0 00:44:05 90377
7 4 16276 20318 116557 30402734 0 0 00:43:56 0
8 4 16276 6001 140301 30402734 0 0 14:20:48 7499

Oh yeah ! :)

rf-1-6k#sh ip route summary
IP routing table name is Default-IP-Routing-Table(0)
IP routing table maximum-paths is 32
Route Source Networks Subnets Overhead Memory (bytes)
connected 0 2 144 288
static 0 0 0 0
ospf 16276 13 239 36144 38332
Intra-area: 245 Inter-area: 6 External-1: 1 External-2: 0
NSSA External-1: 0 NSSA External-2: 0
bgp 16276 138410 294176 31146192 62368012
External: 0 Internal: 432586 Local: 0
internal 5489 12009932
Total 143912 294417 31182480 74416564
Removing Queue Size 0

Date: 2010-08-20 11:43:47 UTC
2010 Aug 19 20:08:43 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 5 Up
2010 Aug 19 20:11:15 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 2 Up
2010 Aug 19 20:11:41 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 4 Up
2010 Aug 19 20:12:58 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Up
2010 Aug 19 20:13:32 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Up
2010 Aug 19 20:14:17 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 8 Up
2010 Aug 19 20:15:23 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 7 Up
2010 Aug 19 20:17:18 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 0 Up
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-3-ATTRID_OP: bgp-16276 [7084] Failed to find attribute ID
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-3-NOMEMORY: bgp-16276 [7084] Could not allocate Attr entry, attr id
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-2-PEERSHALTED: bgp-16276 [7084] BGP all internal peers shutdown due to no memory condition (Error in sof
t reconfig processing of prefix)
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 4 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 7 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 10 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 35 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 92 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 98 Down - out of resource error

# sh proc mem shared | i \"urib \"
Component Shared Memory Size Used Available Ref
Address (kbytes) (kbytes) (kbytes) Count
urib 0X52DD0000 256000* 21974 234026 16

Uniquement 256Mo de RAM. Avec la licence qui debride les fonctionalités XL
Feature Ins Lic Status Expiry Date Comments
Count
--------------------------------------------------------------------------------
SCALABLE_SERVICES_PKG Yes - In use Never -
TRANSPORT_SERVICES_PKG No - Unused -
LAN_ADVANCED_SERVICES_PKG Yes - In use Never -
LAN_ENTERPRISE_SERVICES_PKG Yes - In use Never -
--------------------------------------------------------------------------------

Et le contexte au max:

vdc routing id 2
limit-resource u4route-mem minimum 250 maximum 250

rbx-97-n7# conf t
Enter configuration commands, one per line. End with CNTL/Z.
rbx-97-n7(config)# vdc routing id 2
rbx-97-n7(config-vdc)# limit-resource u4route-mem minimum ?
Minimum route memory value

rbx-97-n7(config-vdc)# limit-resource u4route-mem minimum 250 maximum ?
Maximum route memory value

rbx-97-n7(config-vdc)# limit-resource u4route-mem minimum 250 maximum ^C
rbx-97-n7(config-vdc)#

Que 256Mo de RAM possible pour prendre toutes les routes. Ce n'est pas
ce que dit le site cisco.com (2Go de RAM sur la carte XL et 4Go sur la
sup) mais bon ... du marketing.

Alors la conclusion est simple: Nexus 7000 n'est pas utilisable chez Ovh.

Date: 2010-08-20 11:35:36 UTC
Le nexus 7000 ne permet de le faire. Il n'a que 256Mo de RAM
dans un contexte et ne peut donc pas prendre plusieurs sessions
BGP full route pour les recalculer. Il plante.

Date: 2010-08-20 11:34:58 UTC
On doit recevoir les 3 ASR 1000 fin août.

En attandant on teste cette fonctionalité sur le Nexus 7000.
Posted Aug 20, 2010 - 11:34 UTC