Wednesday 13 September 2017

Panne électrique en Datacenter

Incident électrique dans une baie entre 11h20 et 13h05.

L'origine de cette panne est un défaut électrique survenu sur un serveur, provoquant la mise en sécurité (déclenchement préventif) du disjoncteur du bandeau d'alimentation d'une baie. Cet événement technique a été suivi d’un défaut de communication de l’équipe responsable de la supervision du centre de donnée qui n’a pu transmettre les informations de cet incident aux équipes de support de teclib’ Group dans un délai correct. Une partie de notre production s'est retrouvée isolée et inaccessible. Les autres baies présentes sur le centre de donnée impacté étant toujours fonctionnelles, nous avons pris la décision d’intervenir directement sur la remise en état de l'alimentation électrique de la baie défectueuse (en collaboration avec notre fournisseur) plutôt que de basculer la production sur un autre site. Cela permettant d'éviter d'avoir deux environnements de production opérationnels en même temps ce qui aurait complexifié et allongé la reprise normale de l’activité.

Une série de modifications va être mise en place afin de renforcer notre infrastructure et la communication avec nos fournisseurs permettant de nous prémunir de ce type de panne. Des coupures de services (hors heures ouvrées) seront planifiées afin que nous puissions agir quant à l'amélioration de nos services fournis.