OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Infrastructure C5A
Scheduled Maintenance Report for Web Cloud
Completed
Bonjour,

Afin d'assurer le suivi de l'infrastructure, de profiter de nouvelles fonctionnalités et des derniers correctifs nous allons procéder à une maintenance dans la nuit du mardi 14 Novembre au mercredi 15 Novembre.

Nous démarrerons la maintenance à partir de minuit selon ce plan :

- Nous démarrerons la maintenance sur le cluster passif
- Nous vérifierons que le cluster est bien opérationnel
- Nous basculerons les abonnés et les postes MGCP sur le cluster passif qui deviendra alors actif
- Nous vérifierons que le trafic et que le service sont bien fonctionnels
- Nous démarrerons la maintenance sur le nouveau cluster passif
- Nous vérifierons que le cluster est bien fonctionnel et prêt à assurer le service

La maintenance aura un impact de quelques secondes lors du bascules actif => passif.

Vous serez tenu informé de l'évolution de la maintenance via cette tâche.

Update(s):

Date: 2017-12-06 03:41:33 UTC
Pas d'anomalies relevées depuis l'application du correctif. Le service est pleinement fonctionnel.

Date: 2017-12-06 03:15:25 UTC
Le correctif est déployé et corrige le dysfonctionnement pour nos abonnés allemands. Nous vérifions que le trafic s'écoule normalement pour les autres lignes.

Date: 2017-12-06 03:14:08 UTC
Nous déployons le correctif pour les abonnés allemands.

Date: 2017-12-06 03:10:26 UTC
Nous ne relevons pas d'erreurs, nous vérifions que tout continu de se passer correctement suite à la dernière synchronisation de données et passage sur la nouvelle version de base de données.



Date: 2017-12-06 00:26:52 UTC
Les erreurs sont corrigées, et les connexions semblent fonctionnelles. Nous continuons de surveiller les logs.

Date: 2017-12-05 23:59:52 UTC
La bascule est faite sur la base de données. Des erreurs de connexions à la base apparaissent, nous investiguons afin d'en trouver l'origine.

Date: 2017-12-05 23:53:25 UTC
La sauvegarde et les synchronisations sont terminées. La bascule sur le base de données à jour est en cours.

Date: 2017-12-05 23:21:43 UTC
La sauvegarde de la base de données est en cours avant de démarrer les opérations.

Date: 2017-12-05 23:16:09 UTC
L'intervention va se dérouler ainsi. :

- Rétablir dans le cluster la base de données passive
- Mettre à jour les configurations
- Synchroniser les bases de données entre le passif et l'actif
- Basculer sur la base de données passive et à jour


Date: 2017-12-05 23:12:26 UTC
L'intervention démarre avec notre équipementier pour la base de données.

Date: 2017-12-05 15:57:50 UTC
L'intervention est prévu ce 06 Décembre à partir de minuit. Le plan d'action est toujours le même :

- Repasser sur la base de données à jour en J17
- Appliquer un correctif mineur pour le routage des appels sortants pour les abonnés allemands

Nous vous tenons informé de l'évolution via cette tâche.

Date: 2017-11-28 21:12:53 UTC
Les interventions de ce soir sont reportées. Nous vous tenons informé de la nouvelle date pour ces interventions.

Date: 2017-11-23 16:16:15 UTC
Mardi 28 Novembre deux interventions sont prévues sur l'infra C5A :

- Repasser sur la base de données à jour en J17
- Appliquer un correctif mineur pour le routage des appels sortants pour les abonnés allemands

L'intervention démarrera à partir de 23H50. Nous vous tiendrons informé de l'évolution via cette tâche.

Date: 2017-11-21 02:41:33 UTC
L’intervention est terminée. Pas d'impact sur le service, tout est fonctionnel.

Date: 2017-11-21 02:33:37 UTC
La relance est effectuée, tout semble fonctionnel. Nous vérifions de notre côté les logs et l'état du service.

Date: 2017-11-21 02:30:05 UTC
Pas d'impact sur le service à prévoir, nous relançons l'application concernée par le changement.

Date: 2017-11-21 02:28:55 UTC
La modification nécessite le redémarrage d'une application supplémentaire. Nous vérifions l'impact de cette manipulation.

Date: 2017-11-21 02:16:16 UTC
L'intervention démarre. Nous modifions la configuration de la base de données.

Date: 2017-11-21 02:13:02 UTC
L'intervention a été décalée à 3h15 avec notre équipementier. Nous préparons celle-ci.

Date: 2017-11-20 16:54:24 UTC
Suite à FS#28458 nous allons procéder à une intervention sur la base de données. Cette intervention doit être sans impact sur le service, et sera réalisée dans la nuit du Lundi 20 Novembre au Mardi 21 Novembre à partir de 01h30 du matin.

Nous vous tenons informé de l'évolution de l'intervention via cette tâche.

Date: 2017-11-17 18:43:29 UTC
Les modifications ont toutes été rejouées, la base de données de l'infrastructure A est à jour.

Nous sommes toujours en attente d'un retour de notre constructeur sur l'incident de base de données.
Dès que nous aurons un retour de sa part, nous pourrons rétablir la HA sur la base de données.

Les mises à jour des autres infrastructures sont gelées pour le moment.

Date: 2017-11-17 11:16:33 UTC
Nous commençons à rejouer les modifications effectuées sur la base de donnés depuis le 15 novembre à minuit pour remettre à jour les informations.

Date: 2017-11-17 10:24:04 UTC
Les enregistrements SIP ont pu être perdus lors de la rebascule de base de données.

Les appels entrants sont impactés pour les clients qui sont sur toutes les infrastructures.
Un redémarrage du téléphone forcera un réenregistrement du téléphone.

Date: 2017-11-17 10:20:57 UTC
La réinitialisation du cache de la base de données n'a pas modifié le comportement rencontré.

Nous rebasculons sur la base de données de l'infrastructure A avec les données qui datent de 24 h.
Les configurations faites sur les 24 heures précédentes peuvent être impactées.

Date: 2017-11-17 10:15:44 UTC
Nous venons de réinitialiser le cache de la base de données de l'infrastructure A.

Date: 2017-11-17 10:12:19 UTC
Nous avons des remontées d'appels qui aboutissent vers les mauvaises destinations sur les numéros abrégés.
Nous cherchons l'origine du défaut.

Date: 2017-11-17 09:35:36 UTC
Suite à l'incident, nous sommes revenus sur une version de base de données datant de 24 h.
Les modifications de configuration des lignes et numéros faites depuis 24 h n'étaient plus prises en compte.

Depuis la bascule de la base de données (vers celle de l'infrastructure B), toutes les configurations sont à jour depuis 10 h 10.

Nous avons maintenant deux infrastructures qui sont connectées sur la même base de données.
Nous surveillons activement la charge de la machine qui est dimensionnée pour encaisser
sans problème la charge des quatre infrastructures en cas de besoin.

En parallèle, nous travaillons avec notre constructeur pour essayer de remttre sur pieds une version à jour
de la base de données de l'infrastructure A pour revenir dans le monde de fonctionnement normal.

Date: 2017-11-17 09:08:27 UTC
Nous n'arrivons pas à resynchroniser la base de données de l'équipement passif.

Nous allons basculer la base de données utilisée par l'infrastructure A
sur celle d'une autre infrastructure qui contient toutes les données à jour.

Date: 2017-11-17 04:57:48 UTC
La synchronisation des données est en échec. Nous attendons un retour de notre équipementier afin d'assurer la synchronisation.

Nous vous tenons informé via cette tâche

Date: 2017-11-16 23:29:30 UTC
Nous sommes retournés sur le cluster passif pour la base de données. Nous synchronisons les données de celles-ci, l'opération prendra quelques minutes.

Date: 2017-11-16 21:45:03 UTC
Nous avons une erreur sur la base de données : celle-ci ne répond plus aux requêtes. Nous investiguons avec l'équipementier afin de trouver la cause et de corriger le défaut.

Le service sur l'infrastructure A peuvent êtres perturbés.

Date: 2017-11-16 11:56:49 UTC
Suite à la mise à jour du cluster, les lignes allemandes
ne peuvent pas effectuer d'appels sortants vers les numéros allemands.

Nous allons temporairement migrer les lignes concernées vers l'infrastructure B
pour rétablir les appels sortants, le temps de trouver un correctif.

Les supervisions de ces lignes par d'autres lignes du même groupe peuvent être affectées
durant le temps où ces lignes seront sur l'infrastructure B.

Date: 2017-11-15 14:50:15 UTC
Le correctif est appliqué, les logs ne remontent plus d'erreurs. Nous restons en surveillance.

Date: 2017-11-15 14:28:01 UTC
Nous avons remarqué des anomalies avec la brique MGCP. Nous allons appliquer le correctif d'ici quelques minutes, certains téléphones peuvent perdre la connexion avec le serveur. Nous relancerons l'enregistrement de ces postes afin de limiter l'impact.

Date: 2017-11-15 01:33:00 UTC
La maintenance sur le cluster passif sera effectuée le 15 Novembre dans la journée, sans impact sur la production.

Date: 2017-11-15 01:22:31 UTC
Les tests sont concluants, la maintenance est terminée.

Date: 2017-11-15 00:43:54 UTC
La maintenance est terminée sur l'ensemble de la partie active de l'infrastructure.

Nous continuons de vérifier les logs, ainsi que les tests pour assurer la reprise complète du service.

Date: 2017-11-15 00:27:18 UTC
La maintenance sur le second relai de voix démarre. Impact sur les communications en cours possible.

Date: 2017-11-15 00:14:18 UTC
Les services semblent fonctionnels. Nous vérifions de notre côté, pendant que notre équipementier continu la maintenance.

Actuellement le premier relai de voix est en cours de maintenance. Une fois terminé, le second relai sera redémarré. Impact sur les communications en cours possible.

Date: 2017-11-15 00:06:03 UTC
Le bascule est effectué, nous vérifions que le trafic s'écoule correctement à présent et que les services sont pleinement fonctionnels.

Date: 2017-11-15 00:02:57 UTC
La maintenance sur la base de données est effectuée. La maintenance sur le MGC vient de se terminer également.

Nous allons procéder au basculement, une coupure de service de quelques secondes est à prévoir.

Date: 2017-11-14 23:44:27 UTC
Les préparations sont effectuées, la première étape consiste à mettre à jour les bases de données du cluster. La maintenance démarre sur les bases de données.

Date: 2017-11-14 23:07:07 UTC
Nous démarrons l'intervention. Nous vous tenons informé de l'évolution via cette tâche.

Date: 2017-11-14 23:04:06 UTC
Bonsoir,

L'intervention va démarrer d'ici quelques minutes.
Posted Oct 30, 2017 - 15:51 UTC
This scheduled maintenance affected: VoIP || Core Network.