OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Network Madrid,ES (Telefonica, Espanix)
Incident Report for Network & Infrastructure
Resolved
Depuis quelques jours, nous recevons de larges attaques
DDoS à partir d'Espagne.

Avec l'opérateur national en Espagne, Telefonica, nous
avons 4 peering privé :
- Madrid 30G
- Paris 40G
- Ashburn,VA 20G
- Miami,FL 20G

Malgré toute cette capacité, nous avons de saturation
de la connexion à Paris où finalement le DDoS est
d'environ 50G alors qu'on n'a que 40G de capacité.

Nous avons arrêté les annonces BGP vers Telefonica et
donc le trafic vient d'être rediriger. Il nous arrive
désormais par Telefonica / Seabone / Ovh. Avec Seabone
nous avons plusieurs liens 100G en Europe et USA et
donc la situation devrait entrer dans l'ordre (à moins
que le peering entre Telefonica et Seabone sature). w8

Pour surveiller la qualité de trafic:
http://smokeping.ovh.net/smokeping?target=EU.AS3352

Update(s):

Date: 2016-05-08 20:36:49 UTC
La situation est stable. Nous continuons recevoir les DDoS.
Cela nous arrive par Francfort où nous avons plus de 1.5Tbps
de capacité. Les DDoS ont une taille de 80Gbps. L'incident
est terminé.

Nous travaillons avec Telefonica pour augmenter les capacités
de nos liens avec eux à Madrid, Paris, Ashburn,VA et Miami,FL
Cela va prendre un peu de temps ..

En parallèle, on va augmenter les capacités avec Espanix.

Date: 2016-05-07 15:42:37 UTC
30-40% du DDoS nous arrive désormais par OTI à Frankfurt.
La taille est de 50Gbps.

input rate 56.15 Gbps

On pense donc que la taille totale du DDoS est d'environ
120Gbps en provenance spécifique de l'Espagne. Il s'agit
de packets non légitimes qui sont très simple à nettoyer.
Le seul soucis est d'avoir assez de capacité libre pour
recevoir le DDoS. Visiblement nous avons de choses à
améliorer sur Espagne et on l'attaque dés Lundi l'upgrade
de nos 2 POP. Nous n'avons pas pu le faire jusqu'au là
car en face les administrateurs réseaux nous disaient
qu'ils n'ont pas beaucoup de capacité. Visiblement si ..

Date: 2016-05-07 15:38:34 UTC
Le trafic s'ecoule désormais sans perte mais avec une
latence legement plus importante liée au fait que le
trafic de Madrid passe par Frankfurt avant de nous
revenir sur la France.

On voit donc que le trafic vert est un peu plus haut
d'environ 8-9ms sur RBX et GRA
http://rbx.smokeping.ovh.net/smokeping?&target=EU.AS3352
http://gra.smokeping.ovh.net/smokeping?&target=EU.AS3352

sur SBG et BHS l'augmentation est non significatif
http://sbg.smokeping.ovh.net/smokeping?&target=EU.AS3352
http://bhs.smokeping.ovh.net/smokeping?&target=EU.AS3352


Date: 2016-05-07 15:36:08 UTC
Nous avons eu 2 jours calmes et les DDoS ont changé.
Nous avons eu à nouveau une saturation durant quelques
minutes. Nous avons modifié le reste des annonces
sur Madrid. On a coupé toutes les annonces sur Espagne
afin de recevoir le trafic sur les autres POP en EU.

le trafic nous arrive désormais par Paris et Frankfurt
par des liens de 100G que nous avons là bas. Nous avons
plus de saturations.

Nous allons upgrader le POP à Madrid vers 4x10G, 8x10G
ou 1x100G en fonction de destinations.




Date: 2016-05-05 04:47:21 UTC
Nous avons le même problème sur tout le trafic qui
nous vient à partir d'Espanix où nous avons 30G de
capacité. On coupe les annonces vers Espanix:

http://smokeping.ovh.net/smokeping?target=EU.AS12715

Le trafic nous viendra par d'autres liens de peering
ou de transit où nous avons + de capacités.
Posted May 05, 2016 - 04:36 UTC