rssLink RSS for all categories
 
icon_orange
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_blue
icon_red
icon_red
icon_green
icon_green
icon_green
icon_orange
icon_blue
icon_blue
icon_green
icon_green
icon_red
icon_orange
icon_green
icon_orange
icon_green
icon_red
icon_orange
icon_orange
icon_green
icon_red
icon_green
icon_green
icon_red
icon_blue
icon_red
 

FS#17008 — Infrastructure de stockage

Attached to Project— hubiC
Maintenance
Backend / Core
CLOSED
100%
Nous observons des lenteurs et timeouts sur le cluster de stockage, nous ajoutons de la capacité
Date:  Thursday, 25 August 2016, 11:15AM
Reason for closing:  Done
Comment by OVH - Monday, 14 March 2016, 18:06PM

Nous avons ajouté des serveurs de stockage dans le cluster. Les données sont en cours de ré-équilibrage (rebalance), que qui impactera les performances le temps de l'opération


Comment by OVH - Thursday, 17 March 2016, 10:07AM

L'ajout de serveurs dans un cluster implique que les données sont déplacées sur les nouveaux serveurs pour répartir l'occupation de l'espace disque.

Dans les versions précédentes de Swift, rsync était utilisée. Pour l'Erasure Coding, un nouveau protocole est utilisé, developpé spécialement pour Swift : SSYNC. Nous constatons que ce protocole est extrèmement lent. Après avoir discuté avec les core-dev de Swift, ils ont confirmé que le protocole est connu pour avoir des problèmes de performance dans les grands cluster en Erasure Coding, or le notre serait un des plus grands dont ils ont connaissance.

Nous sommes actuellement en train de chercher à optimiser le déplacement des données afin de pouvoir aggrandir les clusters dans des délais raisonnable.


Comment by OVH - Friday, 01 April 2016, 12:20PM

Nous avons proddé une modification afin d'accélérer la répartition des données sur les nouveaux serveurs, ce qui impacte actuellement fortement les performances du cluster mais permettra de retrouver plus rapidement une situation satisfaisante


Comment by OVH - Wednesday, 04 May 2016, 16:17PM

Nous avons mis à jour la version de Swift de v2.5 (Openstack Liberty) vers 2.7 (Openstack Mitaka) afin d'améliorer la stabilité en Erasure Code


Comment by OVH - Monday, 23 May 2016, 18:06PM

Nous avons à nouveau forcé le mécanisme de rebalance (le 14 mai) pour équilibrer la charge entre les noeuds du cluster. Nous avons observé un fort impact en terme de performances (timeouts/ erreurs 500) entre le 14 et le 18 mai, la situation s'améliore petit à petit depuis. Nous avons augmentés certains seuils de timeouts afin de limiter le stress sur l'infrastructure