OVHcloud Private Cloud Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
NSX 6.3
Incident Report for Hosted Private Cloud
Resolved
Sur certains nouveaux Private Cloud fournis avec NSX 6.3, des messages d'erreurs aléatoires sont remontées dans la partie NSX Manager du client web vSphere:
\"Could not establish communication with NSX Manager. Please contact administrator\".

Ces erreurs ne concernent que la partie \"interface\" (aucun impact sur les services fournis par NSX) mais empêchent une utilisation correcte de NSX.
Nous investiguons actuellement avec l'éditeur.

Update(s):

Date: 2017-03-27 10:41:57 UTC
Bonjour,

La maintenance est terminée, tout s'est bien déroulé.

Nous attendons toujours un fix définitif de VMware, néanmoins l'utilisation du NSX est maintenant possible.

-------------

Hello,

The maintenance is done, everything is ok.

We're still waiting for a fix from VMware, but NSX can be used now.

Date: 2017-03-27 08:04:37 UTC
Bonjour,

Nous allons faire passer une maintenance pour la mise en place du workaround.

Vous verrez la tâche de maintenance dans votre Manager dans la partie \"Opérations\" : maintenanceAddLocalosAdminUserOnNsx.

Cette maintenance n'a aucun impact sur votre production, il ajoute juste des permissions à l'OS local du NSX afin de résoudre les soucis rencontrés.

Nous allons débuter la maintenance dans quelques minutes.

----------------

Hello,

We're gonna make a maintenance to set up the workaround.

You will see the task maintenance in your Manager in the tab \"Operations\" : maintenanceAddLocalosAdminUserOnNsx.

This maintenance has no impact on your production, it adds permissions on the NSX local OS in order to resolve the issues.

We will begin this maintenance in a few minutes.

Date: 2017-03-24 15:55:49 UTC
Bonjour,

VMware ont trouvé la root cause, cela est lié au management des calls d'authentification entre le NSX Manager et le vCenter.

Nous avons un nouveau workaround qui peut être mis en place facilement, nous commençons le travail pour sa mise en place.

VMware doit continuer à synchroniser avec les teams NSX/vCenter pour comprendre les soucis sur les calls et trouver un fix définitif.

-----------------

Hello,

VMware has found the root cause, it's all about the management of the authentication calls between NSX Manager and vCenter.

We got a new workaround which can be set up easily, we're beginning the work for it.

VMware still have to synchronize between NSX/vCenter teams in order to understand the calls issues and find a definitive fix.

Date: 2017-03-24 08:27:38 UTC
Bonjour,

Nous sommes toujours en cours avec VMware, le case est remonté à 2 équipes de dev :
- La team NSX
- La team SSO

Une investigation poussée est faite sur les connexions aux bases de données users, nous avons pu remarquer que les users sont introuvables au bout d'un moment pour le NSX.

--------------------

Hello,

We are still with VMware, the case has been raised up to 2 dev teams :
- NSX team
- SSO team

An deep investigation is ongoing on the users database connections, we have seen users are not found in the NSX side during the issue.

Date: 2017-03-21 15:13:52 UTC
Bonjour,

Nous venons d'avoir l'information que VMware a reproduit notre souci de leur côté. Le case va donc avancer de leur côté et nous espérons avoir des retours rapides sur la création d'un fix.

-----------------

Hello,

We just had the information that VMware has reproduced the issue on their side. The case will move forward on their side and we hope to have some fast feedbacks on a fix creation.

Date: 2017-03-20 17:51:04 UTC
Bonjour,

VMware viennent de nous informer que le souci a été ciblé dans le code, une revue est en cours avec l'engineering afin de valider le souci et de trouver une solution.

Nous vous tenons informé dès que de nouvelles informations parviennent.

---------------------

Hello,

VMware have juste informed us that the issue has been focused in the code, a review is ongoing with the engineering in order to validate the issue and to find a solution.

We keep you updated once we got new informations.

Date: 2017-03-16 10:32:05 UTC
(English version below)

Bonjour,

Voici une update sur nos investigations :

- Nous avons ouvert un ticket chez VMware en donnant le maximum d'informations sur les messages d'erreurs
- En investiguant plus loin, nous avons pu voir que les messages d'erreurs étaient liés à des déconnexions des users vers le management du NSX (dans l'Apache nous pouvions voir des logs de forbidden)
- En testant avec VMware, la concentration a été ciblée entre la connexion du NSX Manager (VM gérant les services NSX) et le vCenter, cependant les résultats n'étaient pas bons, les soucis étaient toujours là
- Cependant durant les tests, nous avons pu remarquer que les erreurs n'étaient plus présentes à partir du moment où nous utilisions un user intégré dans le Single Sign-On, ce qui n'est pas le cas des users classiquement créés car les users sont des users créés sur le Windows du vCenter
- Avec ses derniers éléments, nous nous sommes synchronisés avec notre TAM et le support VMware pour créer une PR (Problem Request) en priorité critique à l'engineering de VMware en direct, nous sommes avec eux à travers des webex et appels pour donner le maximum d'informations.

Nous pensons donc à une modification du comportement de la gestion du Single Sign-On entre les versions NSX 6.2.2 et 6.2.4/6.3, là où nous avons les messages d'erreurs.

Nous vous tenons informé de la suite.

---------------------------

Hello,

Here's an update about our investigation :

- We have opened a ticket at VMware by giving a bunch of logs on the error messages
- When we're investigating, we could see that error messages are linked to a user disconnection on the NSX management (in the Apache logs we could see forbidden messages)
- When we're doing some tests with VMware, we're focused on the connection between NSX Manager (VM which is managing the NSX services) and vCenter, but we had no results about it, the troubles were still here
- During the tests, we could notice that errors were not anymore here if we use an user integrated to the Single Sign-On, which isn't the case of the classic users which are vCenter Windows Local users
- With these last elements, we synchronized with our TAM and the VMware support to create a PR (Problem Request) at the critical priority for the VMware engineering directly, we're with them across of webex and calls to bring the maximum of informations.

We think so it's a modification of the management of Single Sign-On between NSX version 6.2.2 and 6.2.4/6.3, there we have error messages.

We will keep you in touch about progression.
Posted Mar 07, 2017 - 09:47 UTC