OVHcloud Private Cloud Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Upgrade Leclerc
Scheduled Maintenance Report for Hosted Private Cloud
Completed
Nous allons upgrader tous les datastores des clients pcc pour utiliser la technologie hybrid.

Des disques ssd vont être ajoutés dans chacun des leclerc où va être stocké le cache écriture.
Les données vont continuer à être stockés sur des disques classiques, dédiés par client.

Cela va permettre d'améliorer sensiblement les performances (et les latences) en écriture.
Cette upgrade est prévue sans impact pour le client final et sans aucune reconfiguration de sa
part.

Dans un premier temps nous allons reorganiser les disques utilisés sur les leclerc pour permettre
d'insérer ces nouveaux disques ssd.

Ensuite nous allons redémarrer la tête maitre puis la tête esclave de chaque leclerc pour mettre
à jour la configuration des controleurs de disques. Ce changement de configuration est nécessaire
pour assurer la consistence des données lors d'un basculement futur entre les 2 têtes.

Enfin nous allons configurer les disques ssd pour les utiliser en cache des datastores existants.


Update(s):

Date: 2012-03-29 16:15:15 UTC
Tous les stockages ont été migré.

Date: 2012-03-29 13:04:07 UTC
A ce jour, environ 95% des stockages ont été basculé.
Nous travaillons sur les quelques derniers qui restent.

Date: 2012-03-22 18:20:39 UTC
Environ 80 % de l'infrastructure est basculée.

Date: 2012-03-08 18:58:28 UTC
Les upgrades continuent doucement.
A l'heure actuelle, environ 75% de l'ensemble des stockages de l'infrastructure ont été migré.

Les quelques stockages qui ne pouvaient pas être basculé à chaud ont été remplacé par des stockages hybrides.

Date: 2012-02-27 19:54:28 UTC
Après cette journée d'upgrades, nous en sommes à environ 70% d'avancement.

En parallèle, nous avons prévenu par e-mail les quelques clients qui ne pourront pas être migrés à chaud et pour lesquels le stockage doit remplacé par un nouveau.

Date: 2012-02-24 09:48:53 UTC
Hier jeudi, nous avons continué les upgrades, et il y a environ 50% des stockages qui sont désormais migrés.

Date: 2012-02-23 00:11:05 UTC
Aujourd'hui, nous avons upgradé environ 1/3 des stockages des clients pcc.
Nous continuons à partir de demain.

Date: 2012-02-22 10:39:03 UTC
Nous commençons les ajouts des cache ssd dans les stockages.
NB: à chaque ajout de cache, nous envoyons un mail pour prévenir le client concerné du changement.

Date: 2012-02-08 04:31:59 UTC
Nous avons terminé les upgrade de configuration des tetes leclerc.
2 tetes sont restés sur les slaves (tete-42 et tete-150).
Nous allons vérfier le matériel des masters avant de les remettre au service.
La partie la plus sensible des upgrades est terminée.

Prochaine étape: insertion des ssd que nous allons effectuer demain dans la journée.

Date: 2012-02-08 03:58:15 UTC
Lors du rebasculement de tete-42 slave vers tete-42 master, le master a planté pendant l'import.
3 datastores se trouvaient dessus: pcc-001095, pcc-001096 et pcc-001097.
Nous avons crée les tickets avec les clients concernés et nous avons redemarré les vms impactés.

Nous allons corriger le hardware de tete-42 master avant de le remettre en service.
Nous laissons les datastores concernés en service sur le slave.

Date: 2012-02-08 03:07:29 UTC
80% des basculements prévus ont été effectués.
Nous continuons.

Date: 2012-02-07 23:26:00 UTC
Le basculement du premier leclerc se passe correctement.
Les sondes des vm et des datastores sont au vert.
Nous continuons le basculement des leclerc suivants.

Date: 2012-02-07 22:48:32 UTC
Nous allons commencer les upgrades dans 20 minutes.

Nous avons amélioré la procédure de basculement pour avoir une reprise plus rapide par service.
Nous avons aussi ajouté des sondes pour avoir l'état des vm et du datastore avant pendant et
après l'intervention.

Date: 2012-02-07 02:55:47 UTC
1/3 des têtes ont été redémarrées avec la nouvelle configuration.
La procédure de basculement manuel est encore perfectible pour éviter quelques accrocs au niveau des umount/mount/share entre ZFS et NFS.

Nous poursuivons les upgrades la nuit prochaine.




Date: 2012-02-06 22:43:35 UTC
Nous démarrons la seconde étape cette nuit.
Début des opérations prévu vers minuit.

Date: 2012-02-05 16:03:33 UTC
La réorganisation des disques utilisé est terminée. Nous avons libéré les emplacements
nécessaires pour permettre l'insertion des nouveaux disques ssd.
La première étape de l'intervention est terminée.

Nous allons étaler la seconde étape (changement de configuration) sur deux nuits cette semaine.
C'est l'opération la plus sensible. Nous avons la procédure déjà couchée sur papier mais
la task force sera aussi là pour réagir en cas de problème.
Posted Feb 02, 2012 - 10:59 UTC