enGenome

The Challenge

• Sostituire l’infrastruttura monolitica in uso con una nuova infrastruttura agile, altamente disponibile e scalabile in grado di sostenere workload di qualunque dimensione.
• Rafforzare le policy di backup e data protection al fine di tenere tutti i dati sensibili al sicuro da danneggiamento o modifiche non volute.
• Sfruttare i servizi AWS per rendere i flussi di HPC resilienti al fallimento di uno o più step.

The Solution

• Creazione di una nuova infrastruttura stateless basata su istanze EC2 multiple e configurate automaticamente attraverso AWS CloudFormation e AWS Systems Manager. Il cluster per il calcolo distribuito è stato reso scalabile attraverso configurazioni avanzate del servizio AWS Auto Scaling (lifecycle hooks di Amazon EC2 Auto Scaling), metriche custom di AWS Cloudwatch, AWS Lambda Functions e l’impiego di AWS Systems Manager.
• Implementazione di un data lake basato su Amazon S3 come servizio di storage per poterne sfruttare le feature di data protection e replica. Inoltre, al fine di aumentare la robustezza e la resilienza del dato, è stato realizzato un sistema automatico di backup e Disaster Recovery.
• Introduzione di workflow avanzati di HPC sfruttando code Amazon SQS, AWS Lambda Functions e SSM per la distribuzione dei job al cluster.

The Benefits

Scalabilità

Regole avanzate di auto scaling hanno reso possibile l’avvio e la configurazione di stack di istanze EC2 spot in risposta ai diversi tipi di workload. Questo ha permesso di aggiungere ulteriore potenza di calcolo da impiegare all’occorrenza per il miglioramento delle prestazioni dei processi di analisi del genoma. Efficienza Il passaggio da un’infrastruttura monolitica ad una architettura stateless a microservizi, basata su istanze EC2 spot e on-demand, l’impiego di un database totalmente gestito e di un servizio di storage estremamente scalabile ha permesso alla piattaforma eVai di beneficiare di un notevole aumento delle performance raddoppiando il numero di job completati al giorno. Data e security eVai ha beneficiato dalle caratteristiche proprie del servizio Amazon S3 in termini di  durabilità, disponibilità e ridondanza: la feature Lifecycle Hook ha permesso di impostare regole per lo spostamento dei dati nelle diverse classi di storage (Amazon Glacier), mentre il File Versioning ha consentito di tracciare tutti i cambiamenti avvenuti sui dati raccolti. Attraverso backup e Disaster Recovery automatici, inoltre, enGenome ha potuto salvare una copia dei dati anche in una Region diversa da quella di partenza.

About beSharp and AWS

beSharp ha collaborato con enGenome per sviluppare una piattaforma personalizzata, altamente scalabile e disponibile per l’analisi di enormi quantità di dati genomici e bioinformatici. La soluzione è stata sviluppata seguendo le best practice DevOps di AWS e in accordo con le linee guida dell’AWS Well-Architected Framework. Attraverso un approccio di tipo training on-the-job i Cloud Expert di beSharp hanno supportato il team DevOps di enGenome nello sviluppo della nuova infrastruttura rendendolo al contempo autonomo nella gestione.