rssLink RSS for all categories
 
icon_red
icon_red
icon_green
icon_blue
icon_blue
icon_green
icon_green
icon_red
icon_red
icon_red
icon_green
icon_green
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_red
icon_red
icon_red
icon_orange
icon_red
icon_red
icon_orange
icon_green
icon_red
icon_green
icon_green
icon_orange
 

FS#3360 — attaque 90plan/1000gp/20gp

Attached to Project— Web Hosting / CloudDB
Incident
P19 / GRA All clusters
CLOSED
100%
Depuis 0h00, nous avons une forte attaque sur le 90plan. environ 5000IP
envoient plus de 3'000'000 nouvelles connexions /seconde. Nous avons en
parti reglé le probleme à partir de 2h du matin, mais le systeme s'est
destabilisé à partir de 5h à nouveau. On est en train de regler à
nouveau le probleme.
Date:  Friday, 04 September 2009, 16:05PM
Reason for closing:  Done
Comment by OVH - Friday, 04 September 2009, 08:50AM

Nous nous sommes pris autrement. Le probleme est reglé. Mais
on regarde les effets de bords.


Comment by OVH - Friday, 04 September 2009, 09:14AM

Bon l'attaque est maitrisée mais on cherche une maniere plus jolie
de la gerer. Ce n'est pas intelectuellement pas très propre mais ça
marche. Ca aurait été plus simple si la commande flow mask marchait
correctement ...

En parallele, on fait en boucle la liste de nouvelles IP qui nous
attaquent pour les ajouter dans nos access-list.

Sinon:
Nous avons subit une attaque hier dans la journée sur 60gp et
depuis minuit on la recoit sur 90plan. Les hackers profitent de
la nuit aux USA pour la generer.

L'attaque est une bete SYN flood. La problematique est la quantitée
de nouvelles connexions /seconde (un peu plus de 3'000'000). On la
regle avec policy flow mask mais les commandes ne fonctionnent pas
correctement.

Les communications entre le systeme de repartition de charge (la carte
SLB de Cisco) et le reseau s'arretent de fonctionner au bout de 4-5
secondes puis la carte voit tout en panne. Il faut la redemarrer ce
qui prend 4-5 minutes. Nous avons d'abord pensé à une panne de la SLB
et nous l'avons changé à 1h00 par une spare mais c'était pas ça.
http://travaux.ovh.com/?do=details&id=3359

http://smokeping.ovh.net/ovh-server-statistics/show.cgi?target=Plans.90plan.http-90plan
On continue à bosser pour regler tout ça. Mais on aurait pu mieux
faire (facile de le dire après ...).


Comment by OVH - Friday, 04 September 2009, 10:09AM

la carte a planté. redemarrage.


Comment by OVH - Friday, 04 September 2009, 10:24AM

la carte a redemarré. le service est up.


Comment by OVH - Friday, 04 September 2009, 10:27AM

Nous avons essayé de gerer l'attaque autrement et la carte a crashé.
Pour éviter les downtime on laisse le systeme dans l'état. Ca fonctionne.

Si vous avez des problemes, merci de m'envoyer en privé un email sur oles@ovh.net avec
le sujet "90plan attaque" et votre IP de connexion. Il se peut que le
systeme a bloqué automatiquement votre IP et il faut la debloquer à la
main.


Comment by OVH - Friday, 04 September 2009, 11:17AM

Les filtres ont été un peu mieux adaptés. D'après les feedbacks de
ceux qui ont bien voulu m'envoyer leur IP (merci !) ça fonctionne.

Il reste à fixer Londres.


Comment by OVH - Friday, 04 September 2009, 11:34AM

Londres fixé.


Comment by OVH - Friday, 04 September 2009, 12:49PM

la carte a replanté. on a mis une 2ème et on va basculer
d'une à l'autre.


Comment by OVH - Friday, 04 September 2009, 13:02PM

L'ancienne carte est réellement morte. On a mis un 2ème spare
à la place. Et on va rebasculer le trafic sur cette nouvelle
carte.


Comment by OVH - Friday, 04 September 2009, 14:01PM

On a un comportement des routeurs qui n'est pas normal.
On sent un bug quelque part. On va mettre la derniere
version d'IOS sur les routeurs Cisco.

Nous avons mis à jour les routeurs.
http://travaux.ovh.com/?do=details&id=3361


Comment by OVH - Friday, 04 September 2009, 14:04PM

tout le monde est up ?

si vous avez des problemes oles@ovh.net


Comment by OVH - Friday, 04 September 2009, 14:13PM

Bon, l'attaque continue. Par contre la carte ne crash plus, elle se
prend l'attaque, fais "aie" mais on arrive à reprendre la main dessus.

bon on peut commencer à bosser ...


Comment by OVH - Friday, 04 September 2009, 15:06PM

Ca avance désormais correctement. On ajoute par 300 IP dans les access-list.
Le probleme devrait être resolu d'ici quelques 15 minutes encore.


Comment by OVH - Friday, 04 September 2009, 15:15PM

Voilà c'est plus ou moins clean. Il reste encore quelques IP mais ça
fait plus rien du tout. En tout on a environ 6000 IP.

On regarde regulierement pour voir s'il y a de nouvelles IP qui arrivent.
Puis on écrit tranquilement le robot qui va le faire ...


Comment by OVH - Friday, 04 September 2009, 15:29PM

bon on n'a plus d'IP qui nous attaquent. on recheck.


Comment by OVH - Friday, 04 September 2009, 16:05PM

encor 200 IP.

bon je pense que le probleme d'attaque est fixé.


par contre on a certainement bloquer quelques IP qu'il fallait pas.
On va faire un checkup de tout ça maintenant.