rssLink RSS for all categories
 
icon_red
icon_green
icon_blue
icon_orange
icon_blue
icon_green
icon_green
icon_red
icon_green
icon_red
icon_green
icon_green
icon_green
icon_red
icon_green
icon_green
icon_green
icon_green
icon_orange
icon_orange
icon_green
icon_green
icon_blue
icon_red
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_green
icon_orange
 

FS#28039 — Infrastructure C5A

Attached to Project— VoIP
Maintenance
Backend / Core
In progress
80%
Bonjour,

Afin d'assurer le suivi de l'infrastructure, de profiter de nouvelles fonctionnalités et des derniers correctifs nous allons procéder à une maintenance dans la nuit du mardi 14 Novembre au mercredi 15 Novembre.

Nous démarrerons la maintenance à partir de minuit selon ce plan :

- Nous démarrerons la maintenance sur le cluster passif
- Nous vérifierons que le cluster est bien opérationnel
- Nous basculerons les abonnés et les postes MGCP sur le cluster passif qui deviendra alors actif
- Nous vérifierons que le trafic et que le service sont bien fonctionnels
- Nous démarrerons la maintenance sur le nouveau cluster passif
- Nous vérifierons que le cluster est bien fonctionnel et prêt à assurer le service

La maintenance aura un impact de quelques secondes lors du bascules actif => passif.

Vous serez tenu informé de l'évolution de la maintenance via cette tâche.
Comment by OVH - Wednesday, 15 November 2017, 00:04AM

Bonsoir,

L'intervention va démarrer d'ici quelques minutes.


Comment by OVH - Wednesday, 15 November 2017, 00:07AM

Nous démarrons l'intervention. Nous vous tenons informé de l'évolution via cette tâche.


Comment by OVH - Wednesday, 15 November 2017, 00:44AM

Les préparations sont effectuées, la première étape consiste à mettre à jour les bases de données du cluster. La maintenance démarre sur les bases de données.


Comment by OVH - Wednesday, 15 November 2017, 01:02AM

La maintenance sur la base de données est effectuée. La maintenance sur le MGC vient de se terminer également.

Nous allons procéder au basculement, une coupure de service de quelques secondes est à prévoir.


Comment by OVH - Wednesday, 15 November 2017, 01:06AM

Le bascule est effectué, nous vérifions que le trafic s'écoule correctement à présent et que les services sont pleinement fonctionnels.


Comment by OVH - Wednesday, 15 November 2017, 01:14AM

Les services semblent fonctionnels. Nous vérifions de notre côté, pendant que notre équipementier continu la maintenance.

Actuellement le premier relai de voix est en cours de maintenance. Une fois terminé, le second relai sera redémarré. Impact sur les communications en cours possible.


Comment by OVH - Wednesday, 15 November 2017, 01:27AM

La maintenance sur le second relai de voix démarre. Impact sur les communications en cours possible.


Comment by OVH - Wednesday, 15 November 2017, 01:43AM

La maintenance est terminée sur l'ensemble de la partie active de l'infrastructure.

Nous continuons de vérifier les logs, ainsi que les tests pour assurer la reprise complète du service.


Comment by OVH - Wednesday, 15 November 2017, 02:22AM

Les tests sont concluants, la maintenance est terminée.


Comment by OVH - Wednesday, 15 November 2017, 02:33AM

La maintenance sur le cluster passif sera effectuée le 15 Novembre dans la journée, sans impact sur la production.


Comment by OVH - Wednesday, 15 November 2017, 15:28PM

Nous avons remarqué des anomalies avec la brique MGCP. Nous allons appliquer le correctif d'ici quelques minutes, certains téléphones peuvent perdre la connexion avec le serveur. Nous relancerons l'enregistrement de ces postes afin de limiter l'impact.


Comment by OVH - Wednesday, 15 November 2017, 15:50PM

Le correctif est appliqué, les logs ne remontent plus d'erreurs. Nous restons en surveillance.


Comment by OVH - Thursday, 16 November 2017, 12:56PM

Suite à la mise à jour du cluster, les lignes allemandes
ne peuvent pas effectuer d'appels sortants vers les numéros allemands.

Nous allons temporairement migrer les lignes concernées vers l'infrastructure B
pour rétablir les appels sortants, le temps de trouver un correctif.

Les supervisions de ces lignes par d'autres lignes du même groupe peuvent être affectées
durant le temps où ces lignes seront sur l'infrastructure B.


Comment by OVH - Thursday, 16 November 2017, 22:45PM

Nous avons une erreur sur la base de données : celle-ci ne répond plus aux requêtes. Nous investiguons avec l'équipementier afin de trouver la cause et de corriger le défaut.

Le service sur l'infrastructure A peuvent êtres perturbés.


Comment by OVH - Friday, 17 November 2017, 00:29AM

Nous sommes retournés sur le cluster passif pour la base de données. Nous synchronisons les données de celles-ci, l'opération prendra quelques minutes.


Comment by OVH - Friday, 17 November 2017, 05:57AM

La synchronisation des données est en échec. Nous attendons un retour de notre équipementier afin d'assurer la synchronisation.

Nous vous tenons informé via cette tâche


Comment by OVH - Friday, 17 November 2017, 10:08AM

Nous n'arrivons pas à resynchroniser la base de données de l'équipement passif.

Nous allons basculer la base de données utilisée par l'infrastructure A
sur celle d'une autre infrastructure qui contient toutes les données à jour.


Comment by OVH - Friday, 17 November 2017, 10:35AM

Suite à l'incident, nous sommes revenus sur une version de base de données datant de 24 h.
Les modifications de configuration des lignes et numéros faites depuis 24 h n'étaient plus prises en compte.

Depuis la bascule de la base de données (vers celle de l'infrastructure B), toutes les configurations sont à jour depuis 10 h 10.

Nous avons maintenant deux infrastructures qui sont connectées sur la même base de données.
Nous surveillons activement la charge de la machine qui est dimensionnée pour encaisser
sans problème la charge des quatre infrastructures en cas de besoin.

En parallèle, nous travaillons avec notre constructeur pour essayer de remttre sur pieds une version à jour
de la base de données de l'infrastructure A pour revenir dans le monde de fonctionnement normal.


Comment by OVH - Friday, 17 November 2017, 11:12AM

Nous avons des remontées d'appels qui aboutissent vers les mauvaises destinations sur les numéros abrégés.
Nous cherchons l'origine du défaut.


Comment by OVH - Friday, 17 November 2017, 11:15AM

Nous venons de réinitialiser le cache de la base de données de l'infrastructure A.


Comment by OVH - Friday, 17 November 2017, 11:20AM

La réinitialisation du cache de la base de données n'a pas modifié le comportement rencontré.

Nous rebasculons sur la base de données de l'infrastructure A avec les données qui datent de 24 h.
Les configurations faites sur les 24 heures précédentes peuvent être impactées.


Comment by OVH - Friday, 17 November 2017, 11:24AM

Les enregistrements SIP ont pu être perdus lors de la rebascule de base de données.

Les appels entrants sont impactés pour les clients qui sont sur toutes les infrastructures.
Un redémarrage du téléphone forcera un réenregistrement du téléphone.


Comment by OVH - Friday, 17 November 2017, 12:16PM

Nous commençons à rejouer les modifications effectuées sur la base de donnés depuis le 15 novembre à minuit pour remettre à jour les informations.


Comment by OVH - Friday, 17 November 2017, 19:43PM

Les modifications ont toutes été rejouées, la base de données de l'infrastructure A est à jour.

Nous sommes toujours en attente d'un retour de notre constructeur sur l'incident de base de données.
Dès que nous aurons un retour de sa part, nous pourrons rétablir la HA sur la base de données.

Les mises à jour des autres infrastructures sont gelées pour le moment.


Comment by OVH - Monday, 20 November 2017, 17:54PM

Suite à FS#28458 nous allons procéder à une intervention sur la base de données. Cette intervention doit être sans impact sur le service, et sera réalisée dans la nuit du Lundi 20 Novembre au Mardi 21 Novembre à partir de 01h30 du matin.

Nous vous tenons informé de l'évolution de l'intervention via cette tâche.


Comment by OVH - Tuesday, 21 November 2017, 03:13AM

L'intervention a été décalée à 3h15 avec notre équipementier. Nous préparons celle-ci.


Comment by OVH - Tuesday, 21 November 2017, 03:16AM

L'intervention démarre. Nous modifions la configuration de la base de données.


Comment by OVH - Tuesday, 21 November 2017, 03:28AM

La modification nécessite le redémarrage d'une application supplémentaire. Nous vérifions l'impact de cette manipulation.


Comment by OVH - Tuesday, 21 November 2017, 03:30AM

Pas d'impact sur le service à prévoir, nous relançons l'application concernée par le changement.


Comment by OVH - Tuesday, 21 November 2017, 03:33AM

La relance est effectuée, tout semble fonctionnel. Nous vérifions de notre côté les logs et l'état du service.


Comment by OVH - Tuesday, 21 November 2017, 03:41AM

L’intervention est terminée. Pas d'impact sur le service, tout est fonctionnel.