OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Contact Center Solution CCS - SVI - FA & FAX
Incident Report for Web Cloud
Resolved
Nous rencontrons un incident sur notre solution CCS impactant l'ensemble des numéros et files d'attente configurées.
Cela impacte également les SVI et FA.

Nous vous tenons informés via cette tâche de l'évolution de la situation.



Update(s):

Date: 2021-02-25 01:09:31 UTC
L'intervention est terminée.

Date: 2021-02-25 00:38:54 UTC
La migration est terminée avec succès.
Nous continuons de contrôler qu'il n'y ai pas d'effets de bord.

Date: 2021-02-25 00:11:00 UTC
La migration est en cours, certaines latences peuvent être observées durant la migraiton. Estimation de 15 min.

Date: 2021-02-24 23:15:14 UTC
L'intervention démarre.
Nous préparons les machines à appeler le filer principal. En parallèle l'équipe storage prépare le filer et la synchronisation des données.

Date: 2021-02-24 15:57:05 UTC
Bonjour,

Cette nuit, le 24 Février, nous repassons les serveurs sur le filer principal. Pas d'impact à prévoir sur les services.
L'évolution de l'intervention sera indiquée sur cette tâche.

Date: 2021-02-23 19:49:37 UTC
L'incident étant stabilisé voila un compte-rendu de la situation.

Quand nous avons déployé la bêta de CSS (Files d'appels simples/experts) initialement l'infrastructure a été pensée comme telle :
- plusieurs briques qui gèrent la partie SIP et l’intelligence des files (gestion des agents par exemple)
- un serveur de stockage avec les dialplans et les sons de CCS

L'utilisation d'un serveur de stockage unique, nous permet de changer les briques de signalisations, monter en charge et migrer des lots de numéros sans vous impacter
Ce serveur de stockage est redondé avec un backup qui est synchronisé toutes les nuits à 1:00.

Nous sommes restés sur cette architecture en rajoutant des serveurs quand c'était nécessaire.

L'incident du 23/02 matin a mis du temps a être résolu pour plusieurs raisons :
- L'équipe storage a tout essayé pour éviter de restaurer le backup et avoir un trou de quelques heures dans les données
- Lorsque le serveur de stockage de backup a été monté, nous avons eu un souci de configuration empêchant de monter sur les machines les volumes

A présent la situation est stabilisée, mais nous continuons à travailler pour remettre en place les backups pour les éventuelles pannes à venir.

Il y a maintenant 1 an, nous avons lancé un projet de refonte globale de notre infra (Infra V2).
Notre offre Carrier SIP, Conference, la future infra Belge et nos nouvelles interco s'appuient sur cette architecture.
CCS est cours de migration depuis 1 mois et la migration devrait être terminée fin avril sur cette nouvelle infra.
Cette version s'appuie sur les produits OVH à haute dispo (Object Storage, Kubernetes, etc...) qui nous permettra beaucoup plus de souplesse pour la montée en charge.


Date: 2021-02-23 13:53:28 UTC
Le service d'envoi de faxs est également impacté, les investigations sont en cours.

Date: 2021-02-23 10:31:15 UTC
Les services reviennent progressivement.

Date: 2021-02-23 09:52:12 UTC
Le filer de backup est UP nous relançons les services.

Date: 2021-02-23 09:31:38 UTC
Nous continuons de travailler sur le montage du backup.
Nous vous informerons dès que les serveurs commenceront à reprendre du service.

Date: 2021-02-23 09:30:46 UTC
Nous rencontrons des difficultés à monter le filer sur nos serveurs. Nous continuons à travailler avec l'équipe storage pour rétablir le service au plus vite.

Date: 2021-02-23 08:40:51 UTC
L'équipe storage prépare le montage du backup. Nous le configurons en parallèle sur nos serveurs qui l'utiliseront.
Nous espérons un rétablissement du service dans une heure.

Nous continuons de vous tenir informés de l'évolution

Date: 2021-02-23 08:08:42 UTC
Nous travaillons toujours au rétablissement des services.
Un backup de la nuit va être déployé sur un pool de disques neufs pour remplacer l'ensemble.

Date: 2021-02-23 07:35:58 UTC
Nous travaillons toujours avec l'équipe storage afin de procéder à la restauration des données.
Pour le moment il reste dans un état dégradé.

Date: 2021-02-23 06:59:36 UTC
Le serveur est revenu avec un état de RAID dégradé, les services ne peuvent pas être remontés dans l'état actuel.
Nous procédons à une reconstruction.

Prochaine mise à jour avant 8H30.

Date: 2021-02-23 06:46:50 UTC
Un incident hardware a impacté le serveur en charge du partage de la configuration.
Le redémarrage de ce serveur a enclenché une analyse RAID qui nécessite une dizaine de minutes de traitement.

Prochaine mise à jour avant 8H00.
Posted Feb 23, 2021 - 06:41 UTC
This incident affected: VoIP || Core Network.