OVHcloud Private Cloud Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Meltdown / Spectre
Scheduled Maintenance Report for Hosted Private Cloud
Completed
Bonjour,

Suite à la publication des différentes CVE : https://kb.vmware.com/s/article/52245

- CVE-2017-5715 (branch target injection – Spectre)
- CVE-2017-5753 (bounds check bypass – Spectre)
- CVE-2017-5754 (rogue data cache load – Meltdown)

Variant 1: bounds check bypass (CVE-2017-5753) - spectre
Vulnerable : YES
Fixed by patch : YES

Variant 2: branch target injection (CVE-2017-5715) - spectre
Vulnerable : YES
Fixed by patch : YES

Variant 3: rogue data cache load (CVE-2017-5754) - meltdown
Vulnerable : NO
Note: Meltdown (CVE-2017-5754) n'affecte pas ESXI parce que ESXI n'exécute pas de code utilisateur non vérifié.

Nous allons devoir appliquer des mises à jour sur différentes machines présentes sur les infrastructures Private Cloud. Pour cela, nous allons utiliser les fonctionnalités de VMware permettant de faire toutes les manipulations à chaud, sans vous créer d'indisponibilité sur votre production.

Tout ceci sera fait en 3 phases :

- Phase 1 : Mise à jour sécurité côté client
- Phase 2 : Mise à jour sécurité côté management
- Phase 3 : Patch de fonctionnalité pour les ESXi

------

La phase 1 va mettre à jour les machines liées aux infrastructures clientes :
- ESXi
- Backup Server / Proxy pour l'option Veeam
- Zerto

Cette phase 1 débutera dès Lundi 8 Janvier à 10h00.

Elle se résumera dans un premier temps :
- Détection de l'utilisation des ressources dans le cluster Private Cloud
- Passage du DRS en fully automated
- Livraison d'un host de spare si nécessaire
- Mise en mode maintenance du host ciblé
- Mise à jour du host
- Sortie du mode maintenance du host ciblé

Cette manipulation sera réalisée host par host, sur toutes les infrastructures.

Pour les Backup Server / Proxy, et Zerto, une seconde maintenance effectuera un simple reboot sur les machines en jour/heure ouvrée.

Vous recevrez un mail concernant les maintenances avec une date et heure d'intervention, et vous aurez la possibilité de déplacer cette date d'intervention de 48 heures, à partir de l'onglet \"Opérations\" dans votre Manager.

------

La phase 2 va mettre à jour les machines liées aux infrastructures de management côté OVH.
Durant ce temps-là, l'interface de gestion de votre infrastructure ne sera pas disponible, néanmoins, votre production ne sera pas affectée.

Cette maintenance devrait débuter le Lundi 15 Janvier à 10h00, sous réserve de la fourniture des correctifs de la part des fournisseurs d'OS.
Vous recevrez un mail concernant les maintenances avec une date et heure d'intervention, et vous aurez la possibilité de déplacer cette date d'intervention de 48 heures, à partir de l'onglet \"Opérations\" dans votre Manager.

------

La phase 3 va mettre à jour les ESXi une nouvelle fois, afin d'appliquer un patch qui sera fourni par VMware, permettant de faire fonctionner complètement les interactions des guest OS entre les ESXi et les machines virtuelles.
Nous n'avons pas à l'heure actuelle de date à laquelle VMware nous fournira ce patch, ni de qualification d'impact. Nous vous tenons informé rapidement à ce sujet.

------

Concernant les templates proposés dans les datastores template-linux, template-windows, ainsi que les ISO proposées dans les datastores iso-windows, iso-linux, tout est vulnérable.
De ce fait, nous allons faire 2 actions :

- Retirer les templates provenant des datastores template-linux/template-windows sur vos infrastructures et rendre indisponible les datastores
- Rendre indisponible les ISOs présents dans les datastores iso-windows/iso-linux

Nous remettrons tout ceci disponible une fois que nous aurons fait les mises à jour dessus, nous sommes en attente des versions stables sans vulnérabilité provenant des fournisseurs d'OS (Windows/Linux). Nous vous tenons informé à ce sujet, en attendant, vous pouvez toujours créer des VMs en utilisant vos propres images d'OS.

Nous vous informons cependant que la mise à jour des OS de vos machines virtuelles sont de votre responsabilité dans le cadre de la solution Private Cloud.

--------------------------------

Hello,

Following the different CVE publicized : https://kb.vmware.com/s/article/52245

- CVE-2017-5715 (branch target injection – Spectre)
- CVE-2017-5753 (bounds check bypass – Spectre)
- CVE-2017-5754 (rogue data cache load – Meltdown)

Variant 1: bounds check bypass (CVE-2017-5753) - spectre
Vulnerable : YES
Fixed by patch : YES

Variant 2: branch target injection (CVE-2017-5715) - spectre
Vulnerable : YES
Fixed by patch : YES

Variant 3: rogue data cache load (CVE-2017-5754) - meltdown
Vulnerable : NO
Note: Meltdown (CVE-2017-5754) does not affect ESXi because ESXi does not run untrusted user mode code.

We will have to apply updates on different machines inside each Private Cloud infrastructure. For this, we will use VMware functionalities permitting to make all operations without any downtime.

All of this will be done in 3 phases :
- Phase 1 : Security updates in the customer side
- Phase 2 : Security updates in the OVH side
- Phase 3 : Functionality patch for ESXi

------

Phase 1 will update all machine linked to customer infrastructures :
- ESXi
- Backup Server / Proxy for Veeam option
- Zerto

Phase 1 will begin the 8th January, at 10:00AM CET.

This will be sum in a first time by :
- Detection of the compute utilization in your cluster
- Setting DRS to fully automated
- Delivering of a spare host if needed
- Put the target ESXi in maintenance mode
- ESXi update
- Remove the target ESXi from maintenance mode

This operation will be done for each host in all Private Cloud infrastructure.

For Backup Server / Proxy, and Zerto, a second maintenance will do a simple reboot on these machines during daytime.

You will receive a mail about maintenances with a date / hour for intervention, you will be able to manage this time in a 48h range, by using the \"Operations\" tab inside your Manager (control panel).

------

Phase 2 will update all machines linked to management infrastructure in the OVH side.
During this time, the management interface of your infrastructure won't be available, but, your production won't be affected.

This maintenance should begin the 15th January, at 10:00AM CET, if we have all fix available from providers.
You will receive a mail about maintenances with a date / hour for intervention, you will be able to manage this time in a 48h range, by using the \"Operations\" tab inside your Manager (control panel).

------

Phase 3 will update ESXi in a second time, in order to apply a patch which will be provided by VMware, permitting to enable all functionalities for OS guest between ESXi and VMs.
We don't have at this time a date when VMware will provide this patch, neither the impact. We will keep you update about this.

------

About provided templates in the datastores template-linux/template-windows, and provided ISOs in the datastores iso-windows/iso-linux, everything is vulnerable.
So, we will operate two actions :

- Remove all templates from the datastores template-linux/template-windows on your infrastructure and lock the datastores
- Lock ISOs in the datastores iso-windows/iso-linux

We will put all of this online again once everything will be updated, we are waiting for stable versions without vulnerability from OS providers. We will keep you update about this, in the meantime, you still can create VMs by using your own ISOs.

We remind you that the OS updates of your VMs are in your responsability in the Private Cloud setting.

Update(s):

Date: 2018-01-10 10:16:58 UTC
Hello,

You have all received mails for intervention, and many informations.
The maintenance will start tomorrow at 7:00AM.

Date: 2018-01-08 15:10:38 UTC
Bonjour,

Suite à vos feedbacks, voici le guide qui vous explique le process pour mettre à jour les Hosts par vos propres moyens : https://docs.ovh.com/fr/private-cloud/verifier_corriger_failles_spectre_meltdown_hotes/
Note : Si les upgrades sont déjà appliquée sur les Hosts (build à jour), nous n'interviendrons pas sur votre infrastructure.

Il est important de savoir que les migrations réalisées, par vous ou l'automatisation OVH, peuvent peuvent créer un surcoût lié aux licences qui se basent sur les Hosts ou les sockets (Windows par exemple).

---------------

Hello,

Regarding your feedbacks, here is the guide which will explain you the process to update hosts by yourself : https://docs.ovh.com/gb/en/private-cloud/check_patch_spectre_meltdown_vulnerabilities_hosts/
Note : If upgrades are already done on your hosts (build updated),

It's important to know that migrations realized, by you or OVH automation, can create an extra charge linked to licenses which are based to hosts or sockets (Windows for example).
Posted Jan 05, 2018 - 17:33 UTC