OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
Telefonica (AS3352)
Incident
Report for Network & Infrastructure
Resolved
Bonjour,
Dans le service que nous proposons à nos clients,
nous incluons la gestion de DDoS qui consiste à
recevoir les attaques DDoS et les nettoyer. Pour
cela nous avons beaucoup de capacité avec Internet
(7500Gbps) et nous avons développé le VAC qui permet
de nettoyer les DDoS. Nous avons déjà reçu et nettoyé
les DDoS de 800Gbps avec le succès.
Depuis plusieurs jours nous recevons une attaque
en provenance d'un réseau en particulier, celui
de l’opérateur historique en Espagne: Telefonica.
Cette attaque vise un client en particulier qui
est hébergé dans notre DC à BHS (Canada).
Il ne s'agit pas de DDoS (Distributed Denial of Service)
C'est un DoS Denial of Service car il n'est pas
distribué. En effet, l'attaque ne nous vient pas
de beaucoup d'endroits du monde, mais vient d'un
endroit spécifique et donc utilise une route spécifique:
AS3352 Telefonica Espagne <> AS12956 Telefonica International <> AS16276 OVH
Nous avons de liens de connexions avec AS12956:
30G + 20G à Madrid
40G à Paris
20G à Ashburn,VA
20G à Miami,FL
En tout, nous avons 130Gbps avec AS12956
Sauf que le DoS que nous recevons est de 150Gbps.
Habituellement il n'y a pas de soucis pour recevoir
150Gbps si c'est un DDoS qui vient de la Asie, Europe
et USA en même temps. Chaque parti du réseau prend un
bout du DDoS et chaque VAC nettoie un bout du DDoS.
Ici les hackers utilisent spécifiquement le réseau de
Telefonica Espagne pour envoyer une attaque très importante
en taille. Le type du DoS est très basique et nous le
nettoyons sans soucis. Mais dans ce cas là précis nous
ne pouvons pas nettoyer le DoS car on n'arrive pas le
recevoir. Les liens que nous avons avec Telefonica
International sont saturés avant qu'on puisse le faire.
Nous avons donc coupé les annonces BGP avec AS12956
pour utiliser les autres liens que nous avons avec Internet.
Le trafic nous est donc arrivé par AS5511 OpenTransit
AS3352 Telefonica Espagne <> AS12956 Telefonica International <> AS5511 OpenTransit <> AS16276 OVH
Nous avons 1x100G avec OTI à Frankfurt. L'attaque a saturé
le lien que nous avons avec OTI. Durant cette saturation
d'autres ISP en Espagne ont été impacté car nous utilisons
OTI pour recevoir le trafic à partir d'Orange Spain, Jazznet etc.
Nous avons donc coupé les annonces BGP avec AS5511
afin d'utiliser les autres liens que nous avons
avec l'internet.
Le trafic nous vient désormais par Level3 AS3356
AS3352 Telefonica Espagne <> AS12956 Telefonica International <> AS3356 Level3 <> AS16276 OVH
Nous avons 800Gbps de capacité avec Level3 et nous avons
plusieurs liens de 200Gbps avec. Donc nous pouvons désormais
recevoir ce DoS de 150Gbps.
Le souci est qu'entre AS12956 <> AS3356 il n'y a pas assez
de capacité pour faire passer ce DDoS sans saturer les liens
entre ces opérateurs.
Nous continuons à travailler pour résoudre ce souci. Nous
sommes en contact avec AS12956 qui demande à AS3352 d’éteindre
le réseau de botnet qui est à l'origine de ce DoS. Aussi,
nous modifions nos configurations respectives pour réussir
à faire passer ce DoS entre AS12956 et AS16276. Nous ne pouvons
pas vous donner plus de détails car ce task de travaux sera lu
par les hackeurs à l'origine du DoS et ils vont utiliser ces
informations pour passer à travers les astuces qu'on déploie.
C'est aussi pour cela que nous n'avons pas fait le task de
travaux avant ce soir. Dans le cas de DDoS moins d'information
on donne, moins on excite les hackers et mieux on gère les DDoS.
Vu l'impact pour nos clients espagnoles nous nous devons leur
donner les informations sur l'origine du souci.
Nous avons trouvé quelques astuces pour faire passer ce DoS
sans saturer les liens. On va voir dans les prochaines heures
si ça tient.
Dans tous les cas, nous discutons avec Telefonica International
pour augmenter les capacités avec leur réseau. Nous allons aussi
déployé un nouveau routeur à Madrid plus tôt que prévu. Il sera
installé en octobre au lieu de mars. Ceci nous permettra de
connecter en octobre 200G avec Telefonica, upgrader Espanix en
2x 200G, OpenTransit en 200G et avoir ces mêmes upgrades avec
Telia et Cogent. En parallèle, nous allons ajouter d'autres
liens avec Telefonica notablement à Paris de 200G et Ashburn,VA
de 200G. Les hackers ont réussi à trouver une faille dans notre
réseau. On va fixer cette faille au plus vite. Cette expérience
nous servira pour améliorer encore les protections que nous
proposons à nos clients par défaut dans nos services.
Nous sommes sincèrement désolés pour la panne générée pour les
visiteurs venant de Telefonica Espagne.
http://gsw.smokeping.ovh.net/smokeping?&target=EU.AS3352
Amicalement
Octave
Update(s):
Date: 2016-09-12 15:19:26 UTC
Le DDoS est terminé pour le moment. Enfin, c'est jamais
fini. C'est une partie remise qui va recommencer à
n'importe lequel moment .. On sera là ! :)
Date: 2016-09-12 13:45:38 UTC
Le dernier réglage est pas mal du tout :)
Date: 2016-09-12 12:49:18 UTC
Les hackeurs sont en train de tester d'attaquer différentes
ranges d'IP et trouver la faille. On surveille ces DDoS et
on change la configuration pour l'adapter face à ces DDoS.
C'est du temps réel, on change la configuration tous les 5
à 10 minutes.
Date: 2016-09-12 12:14:00 UTC
Nous avons reçu 2 DDoS de 2 min et 7 min. On a changé
les réglages du réseau pour mieux repartir ce DDoS sur
tous nos liens en input.
Date: 2016-09-08 21:35:21 UTC
On vient d'ajouter 1x100G avec Telefonica International
à Ashburn,VA. Le trafic venant vers les IP de BHS passe
désormais via ce lien.
http://travaux.ovh.net/?do=details&id=20016
Date: 2016-09-08 12:32:37 UTC
Le DoS continue. Ca fait 9 jours. La configuration actuelle
permet d'absorber ce DoS. On ne sait pas si Telefonica Spain
travaille sur ce probleme ou pas. On regarde pour porter
plainte et obliger Telefonica Spain d’éteindre ce botnet car
il est hyper dangereux pour l'Internet.
Date: 2016-09-06 12:10:55 UTC
Le DoS continue. Tous les 4 à 6 heures durant 2 heures
on reçoit entre 150Gbps et 300Gbps à partir Telefonica
Spain uniquement. Le DoS ne nous vient pas d'ailleurs.
L'origine de l'attaque est spécifiquement AS3352 qui
doit héberger un sacré grand Botnet.
Nous avons mis en place plusieurs astuces pour limiter
les impacts. Ca se passe plus tôt bien, mais on est
loin de la perfection qu'on veut proposer. On continue
discuter avec AS12956 pour avoir de nouveaux 100G de
capacité afin de savoir réceptionner ce DoS dans les
bonnes conditions et le nettoyer.
Date: 2016-09-05 13:22:03 UTC
Les réglages que nous avons mis en place semblent
bien fonctionner. On continue de recevoir tous les
4 à 5 heures, le DoS durant 2 heures. On ne sature
plus les liens.
Si vous avez quand même de soucis, merci de m'envoyer
un tweet sur @olesovhcom
Date: 2016-09-05 10:26:10 UTC
Nous travaillons avec Telefonica AS12956
pour upgrader le 2x10G vers 1x100G à Ashburn,VA
http://travaux.ovh.net/?do=details&id=20016
Dans le service que nous proposons à nos clients,
nous incluons la gestion de DDoS qui consiste à
recevoir les attaques DDoS et les nettoyer. Pour
cela nous avons beaucoup de capacité avec Internet
(7500Gbps) et nous avons développé le VAC qui permet
de nettoyer les DDoS. Nous avons déjà reçu et nettoyé
les DDoS de 800Gbps avec le succès.
Depuis plusieurs jours nous recevons une attaque
en provenance d'un réseau en particulier, celui
de l’opérateur historique en Espagne: Telefonica.
Cette attaque vise un client en particulier qui
est hébergé dans notre DC à BHS (Canada).
Il ne s'agit pas de DDoS (Distributed Denial of Service)
C'est un DoS Denial of Service car il n'est pas
distribué. En effet, l'attaque ne nous vient pas
de beaucoup d'endroits du monde, mais vient d'un
endroit spécifique et donc utilise une route spécifique:
AS3352 Telefonica Espagne <> AS12956 Telefonica International <> AS16276 OVH
Nous avons de liens de connexions avec AS12956:
30G + 20G à Madrid
40G à Paris
20G à Ashburn,VA
20G à Miami,FL
En tout, nous avons 130Gbps avec AS12956
Sauf que le DoS que nous recevons est de 150Gbps.
Habituellement il n'y a pas de soucis pour recevoir
150Gbps si c'est un DDoS qui vient de la Asie, Europe
et USA en même temps. Chaque parti du réseau prend un
bout du DDoS et chaque VAC nettoie un bout du DDoS.
Ici les hackers utilisent spécifiquement le réseau de
Telefonica Espagne pour envoyer une attaque très importante
en taille. Le type du DoS est très basique et nous le
nettoyons sans soucis. Mais dans ce cas là précis nous
ne pouvons pas nettoyer le DoS car on n'arrive pas le
recevoir. Les liens que nous avons avec Telefonica
International sont saturés avant qu'on puisse le faire.
Nous avons donc coupé les annonces BGP avec AS12956
pour utiliser les autres liens que nous avons avec Internet.
Le trafic nous est donc arrivé par AS5511 OpenTransit
AS3352 Telefonica Espagne <> AS12956 Telefonica International <> AS5511 OpenTransit <> AS16276 OVH
Nous avons 1x100G avec OTI à Frankfurt. L'attaque a saturé
le lien que nous avons avec OTI. Durant cette saturation
d'autres ISP en Espagne ont été impacté car nous utilisons
OTI pour recevoir le trafic à partir d'Orange Spain, Jazznet etc.
Nous avons donc coupé les annonces BGP avec AS5511
afin d'utiliser les autres liens que nous avons
avec l'internet.
Le trafic nous vient désormais par Level3 AS3356
AS3352 Telefonica Espagne <> AS12956 Telefonica International <> AS3356 Level3 <> AS16276 OVH
Nous avons 800Gbps de capacité avec Level3 et nous avons
plusieurs liens de 200Gbps avec. Donc nous pouvons désormais
recevoir ce DoS de 150Gbps.
Le souci est qu'entre AS12956 <> AS3356 il n'y a pas assez
de capacité pour faire passer ce DDoS sans saturer les liens
entre ces opérateurs.
Nous continuons à travailler pour résoudre ce souci. Nous
sommes en contact avec AS12956 qui demande à AS3352 d’éteindre
le réseau de botnet qui est à l'origine de ce DoS. Aussi,
nous modifions nos configurations respectives pour réussir
à faire passer ce DoS entre AS12956 et AS16276. Nous ne pouvons
pas vous donner plus de détails car ce task de travaux sera lu
par les hackeurs à l'origine du DoS et ils vont utiliser ces
informations pour passer à travers les astuces qu'on déploie.
C'est aussi pour cela que nous n'avons pas fait le task de
travaux avant ce soir. Dans le cas de DDoS moins d'information
on donne, moins on excite les hackers et mieux on gère les DDoS.
Vu l'impact pour nos clients espagnoles nous nous devons leur
donner les informations sur l'origine du souci.
Nous avons trouvé quelques astuces pour faire passer ce DoS
sans saturer les liens. On va voir dans les prochaines heures
si ça tient.
Dans tous les cas, nous discutons avec Telefonica International
pour augmenter les capacités avec leur réseau. Nous allons aussi
déployé un nouveau routeur à Madrid plus tôt que prévu. Il sera
installé en octobre au lieu de mars. Ceci nous permettra de
connecter en octobre 200G avec Telefonica, upgrader Espanix en
2x 200G, OpenTransit en 200G et avoir ces mêmes upgrades avec
Telia et Cogent. En parallèle, nous allons ajouter d'autres
liens avec Telefonica notablement à Paris de 200G et Ashburn,VA
de 200G. Les hackers ont réussi à trouver une faille dans notre
réseau. On va fixer cette faille au plus vite. Cette expérience
nous servira pour améliorer encore les protections que nous
proposons à nos clients par défaut dans nos services.
Nous sommes sincèrement désolés pour la panne générée pour les
visiteurs venant de Telefonica Espagne.
http://gsw.smokeping.ovh.net/smokeping?&target=EU.AS3352
Amicalement
Octave
Update(s):
Date: 2016-09-12 15:19:26 UTC
Le DDoS est terminé pour le moment. Enfin, c'est jamais
fini. C'est une partie remise qui va recommencer à
n'importe lequel moment .. On sera là ! :)
Date: 2016-09-12 13:45:38 UTC
Le dernier réglage est pas mal du tout :)
Date: 2016-09-12 12:49:18 UTC
Les hackeurs sont en train de tester d'attaquer différentes
ranges d'IP et trouver la faille. On surveille ces DDoS et
on change la configuration pour l'adapter face à ces DDoS.
C'est du temps réel, on change la configuration tous les 5
à 10 minutes.
Date: 2016-09-12 12:14:00 UTC
Nous avons reçu 2 DDoS de 2 min et 7 min. On a changé
les réglages du réseau pour mieux repartir ce DDoS sur
tous nos liens en input.
Date: 2016-09-08 21:35:21 UTC
On vient d'ajouter 1x100G avec Telefonica International
à Ashburn,VA. Le trafic venant vers les IP de BHS passe
désormais via ce lien.
http://travaux.ovh.net/?do=details&id=20016
Date: 2016-09-08 12:32:37 UTC
Le DoS continue. Ca fait 9 jours. La configuration actuelle
permet d'absorber ce DoS. On ne sait pas si Telefonica Spain
travaille sur ce probleme ou pas. On regarde pour porter
plainte et obliger Telefonica Spain d’éteindre ce botnet car
il est hyper dangereux pour l'Internet.
Date: 2016-09-06 12:10:55 UTC
Le DoS continue. Tous les 4 à 6 heures durant 2 heures
on reçoit entre 150Gbps et 300Gbps à partir Telefonica
Spain uniquement. Le DoS ne nous vient pas d'ailleurs.
L'origine de l'attaque est spécifiquement AS3352 qui
doit héberger un sacré grand Botnet.
Nous avons mis en place plusieurs astuces pour limiter
les impacts. Ca se passe plus tôt bien, mais on est
loin de la perfection qu'on veut proposer. On continue
discuter avec AS12956 pour avoir de nouveaux 100G de
capacité afin de savoir réceptionner ce DoS dans les
bonnes conditions et le nettoyer.
Date: 2016-09-05 13:22:03 UTC
Les réglages que nous avons mis en place semblent
bien fonctionner. On continue de recevoir tous les
4 à 5 heures, le DoS durant 2 heures. On ne sature
plus les liens.
Si vous avez quand même de soucis, merci de m'envoyer
un tweet sur @olesovhcom
Date: 2016-09-05 10:26:10 UTC
Nous travaillons avec Telefonica AS12956
pour upgrader le 2x10G vers 1x100G à Ashburn,VA
http://travaux.ovh.net/?do=details&id=20016