OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
Réseau VoIP
Scheduled Maintenance
Report for Network & Infrastructure
Completed
Nous allons réinsérer une carte FWSM dans l'un des routeurs VoIP afin de rétablir le fonctionnement en failover entre les 2 cartes.
Update(s):
Date: 2014-01-25 11:54:42 UTC
Nous avons mis en production le nouveau firewall
Le basculement s'est bien passé sauf que l'un de
routeurs n'a pas pris en compte la modification
de la MAC. On l'a forcé ce qui a fixé tous les
problèmes.
La situation est stable et nous n'avons plus de
problèmes.
Date: 2014-01-25 10:22:04 UTC
on coupe l'ancien firewall.
Date: 2014-01-25 10:21:10 UTC
on n'a plus de connexions qui passent par l'ancien
firewall. tout passe par le nouveau. on voit les
connexions revenir sur l'infra. on regarde pour
gérer la congestion interne pour éviter le switchover
de l'infra en interne
Date: 2014-01-25 10:10:50 UTC
c'est fait.
Date: 2014-01-25 10:03:40 UTC
Les 3000 téléphones utilisant l'IP qui a migré de
l'ancien firewall vers le nouveau sont à nouveau
UP.
On va donc devoir migrer l'IP priciap avec le SIP/MGCP
sur le nouveau firewall.
Date: 2014-01-25 09:36:32 UTC
Nous allons migrer une IP qui gere que du MGCP sur
le nouveau firewall.
Date: 2014-01-25 09:14:35 UTC
Nous coupons la firewall slave pour retrouver l'etat avant
la maintenance.
Date: 2014-01-25 03:16:39 UTC
Détails sur la maintenance de cette nuit sur l'infra réseau VoIP:
Au niveau routage, l'infra VoIP est dans le fonctionnement normale depuis environ 2h15. Nous avons eu plusieurs problèmes sur les cartes firewall qui ont conduit à une interruption du service sur le sip et le mgcp. L'objet de la maintenance était la mise en production d'une carte de spare livrée par Cisco dans l'après-midi afin de revenir dans mode de fonctionnement en failover actif/passif sur cette partie de l'infra.
Cette carte neuve qui avait été mise à jour et configurée au préalable devait se synchroniser avec la carte en production au niveau de tous les états de sessions puis prendre en charge le trafic.
Cependant, il semble que certaines section de la configuration n'aient pas été correctement appliquées et que l'étape de synchronisation ait en fait supprimé ces sections de la carte active. Le trafic a été impacté à partir de ce moment. Le rollback qui a été effectué quelques minutes plus tard n'a pas permis de revenir immédiatement à l'état initial puisque la config était justement incorrecte sur les 2 cartes. Nous avons du redescendre à la main la configuration complète pour rétablir le trafic.
2ème problème, pour une raison que nous ignorons encore, l'utilisation mémoire sur les cartes est montée anormalement jusqu'à saturer la RAM ce qui a empêché le trafic de s'écouler normalement. La solution a été de redémarrer simultanément les 2 cartes firewall afin d'obtenir un reset complet des états qui se synchronisent entre les 2 cartes pour revenir dans le fonctionnement normal.
A cette heure, l'ensemble des téléphones SIP sont enregistrés mais pas tous les MGCP. Plus de détails sur la partie purement VoIP dans ce task:
http://travaux.ovh.net/?do=details&id=10088
Date: 2014-01-25 00:54:32 UTC
on a reactivé le firewall sur v1
Date: 2014-01-25 00:53:09 UTC
le routeur p19-v2-6k a planté. le trafic s'ecoule sur p19-v1-6k
mais sans la carte firewall
Date: 2014-01-25 00:47:43 UTC
La carte firewall slave ne veut pas
3d22h: Processor 0 of module in slot 4 cannot service session requests.
La master non plus
2d23h: SP: The PC in slot 4 is shutting down. Please wait ...
2d23h: SP: PC shutdown completed for module 4
On a basculé le trafic sur la slave.
Date: 2014-01-24 23:53:59 UTC
Nous effectuons les tests sur la nouvelle carte.
Date: 2014-01-24 17:14:36 UTC
La carte est prête. Nous allons la tester et la réinsérer dans la prod cette nuit à 00:00.
Update(s):
Date: 2014-01-25 11:54:42 UTC
Nous avons mis en production le nouveau firewall
Le basculement s'est bien passé sauf que l'un de
routeurs n'a pas pris en compte la modification
de la MAC. On l'a forcé ce qui a fixé tous les
problèmes.
La situation est stable et nous n'avons plus de
problèmes.
Date: 2014-01-25 10:22:04 UTC
on coupe l'ancien firewall.
Date: 2014-01-25 10:21:10 UTC
on n'a plus de connexions qui passent par l'ancien
firewall. tout passe par le nouveau. on voit les
connexions revenir sur l'infra. on regarde pour
gérer la congestion interne pour éviter le switchover
de l'infra en interne
Date: 2014-01-25 10:10:50 UTC
c'est fait.
Date: 2014-01-25 10:03:40 UTC
Les 3000 téléphones utilisant l'IP qui a migré de
l'ancien firewall vers le nouveau sont à nouveau
UP.
On va donc devoir migrer l'IP priciap avec le SIP/MGCP
sur le nouveau firewall.
Date: 2014-01-25 09:36:32 UTC
Nous allons migrer une IP qui gere que du MGCP sur
le nouveau firewall.
Date: 2014-01-25 09:14:35 UTC
Nous coupons la firewall slave pour retrouver l'etat avant
la maintenance.
Date: 2014-01-25 03:16:39 UTC
Détails sur la maintenance de cette nuit sur l'infra réseau VoIP:
Au niveau routage, l'infra VoIP est dans le fonctionnement normale depuis environ 2h15. Nous avons eu plusieurs problèmes sur les cartes firewall qui ont conduit à une interruption du service sur le sip et le mgcp. L'objet de la maintenance était la mise en production d'une carte de spare livrée par Cisco dans l'après-midi afin de revenir dans mode de fonctionnement en failover actif/passif sur cette partie de l'infra.
Cette carte neuve qui avait été mise à jour et configurée au préalable devait se synchroniser avec la carte en production au niveau de tous les états de sessions puis prendre en charge le trafic.
Cependant, il semble que certaines section de la configuration n'aient pas été correctement appliquées et que l'étape de synchronisation ait en fait supprimé ces sections de la carte active. Le trafic a été impacté à partir de ce moment. Le rollback qui a été effectué quelques minutes plus tard n'a pas permis de revenir immédiatement à l'état initial puisque la config était justement incorrecte sur les 2 cartes. Nous avons du redescendre à la main la configuration complète pour rétablir le trafic.
2ème problème, pour une raison que nous ignorons encore, l'utilisation mémoire sur les cartes est montée anormalement jusqu'à saturer la RAM ce qui a empêché le trafic de s'écouler normalement. La solution a été de redémarrer simultanément les 2 cartes firewall afin d'obtenir un reset complet des états qui se synchronisent entre les 2 cartes pour revenir dans le fonctionnement normal.
A cette heure, l'ensemble des téléphones SIP sont enregistrés mais pas tous les MGCP. Plus de détails sur la partie purement VoIP dans ce task:
http://travaux.ovh.net/?do=details&id=10088
Date: 2014-01-25 00:54:32 UTC
on a reactivé le firewall sur v1
Date: 2014-01-25 00:53:09 UTC
le routeur p19-v2-6k a planté. le trafic s'ecoule sur p19-v1-6k
mais sans la carte firewall
Date: 2014-01-25 00:47:43 UTC
La carte firewall slave ne veut pas
3d22h: Processor 0 of module in slot 4 cannot service session requests.
La master non plus
2d23h: SP: The PC in slot 4 is shutting down. Please wait ...
2d23h: SP: PC shutdown completed for module 4
On a basculé le trafic sur la slave.
Date: 2014-01-24 23:53:59 UTC
Nous effectuons les tests sur la nouvelle carte.
Date: 2014-01-24 17:14:36 UTC
La carte est prête. Nous allons la tester et la réinsérer dans la prod cette nuit à 00:00.