La Universidad de Florida acelera la investigación genética intensiva en memoria con la solución Dell HPC - Calendae | Informática, Electrónica, CMS, Ciberseguridad

La Universidad de Florida acelera la investigación genética intensiva en memoria con la solución Dell HPC

Hola, ¿qué tal colega?. En el teclado Simón Sánchez y en el día de hoy te voy a hablar sobre La Universidad de Florida acelera la investigación genética intensiva en memoria con la solución Dell HPC

La Universidad de Florida acelera la investigación genética intensiva en memoria con la solución Dell HPC

La velocidad vertiginosa del progreso en la industria de la computación se produce a un ritmo exponencial que se puede predecir. Según la ley de Moore, la velocidad de procesamiento, la capacidad de memoria e incluso la cantidad de píxeles en las cámaras digitales se duplica cada dos años. Pero hay una rama de la tecnología que está evolucionando aún más rápido: la secuenciación de genes, la clasificación de los nucleótidos que forman una hebra de ADN en un organismo. La secuenciación de genes es la base de todo el grupo de ciencias de la vida que estudian la composición genética de los seres humanos y otros organismos para prolongar la vida.

En comparación con la tecnología de secuenciación basada en capilares de hace unos años, la secuenciación de próxima generación actual es capaz de producir un millón de veces más datos, lo que aumenta las demandas de computación y almacenamiento.

«Pasamos de herramientas de secuenciación de ADN de primera generación en la década de 1990 que analizaban 384 secuencias simultáneamente a herramientas que derivan 400 millones de secuencias en paralelo», dice Bill Farmerie, director asociado del Centro Interdisciplinario de Investigación Biotecnológica (ICBR) en el Universidad de Florida. «Y a medida que el volumen de datos crece exponencialmente, el costo de producir los datos se ha reducido en un factor de 100.000».

Acelerar el ritmo de la investigación biotecnológica

La Universidad de Florida está trabajando para satisfacer la demanda de computadoras más rápidas en su ICBR. Allí, los científicos están trabajando con la tecnología de Dell e Intel para construir la próxima generación de clústeres de Computación de alto rendimiento (HPC) que puedan seguir el ritmo de las necesidades informáticas de la industria de secuenciación de genes.

«Necesitamos abordar problemas más grandes, genomas más grandes, muestras más grandes y simplemente tener una visión más amplia de los sistemas que estamos estudiando», dice Aaron Gardner, director de infraestructura de información del Centro Interdisciplinario de Investigación Biotecnológica de la Universidad de Florida.

A medida que los conjuntos de consultas y las bases de datos en las que se ejecutan las consultas han crecido con el tiempo, la cantidad de memoria disponible en una computadora se ha vuelto crítica. Para obtener el mejor rendimiento, se tuvieron que almacenar en caché varias bases de datos y utilizar algoritmos en paralelo para que todos pudieran compartir memoria entre los nodos. El concepto de multiprocesamiento simétrico (SMP) en el clúster de HPC ha evolucionado hasta convertirse en multiprocesamiento simétrico virtual (VSMP), en el que varios sistemas físicos parecen funcionar como un único sistema lógico.

Consiga una memoria compartida muy grande

«Descubrimos que la HPC tradicional en un clúster no funcionaba porque teníamos límites estrictos en la cantidad de memoria disponible en un solo nodo y, a menudo, el software no estaba equipado para poder implementar estas bases de datos en todos los nodos de un clúster». Dice Gardner. “El sistema VSMP nos permite tener un espacio de memoria compartida muy grande donde podemos almacenar en caché todas las bases de datos de secuencias y todas las consultas que estamos buscando. Esto los hace accesibles para todos los procesadores simultáneamente con una latencia mínima «.

Para construir el clúster, el ICBR instaló un gabinete blade modular Dell PowerEdge M1000e con 16 servidores blade Dell PowerEdge M610 con procesadores Intel Xeon 5560 y memoria DDR3, lo que proporciona aproximadamente un terabyte de memoria compartida. Un conmutador Blade Mellanox M3601Q InfiniBand InfiniBand Blade de 40 Gb por segundo, entregado a través del bus Dell, maneja todas las llamadas de memoria y CPU entre blades.

«Esperamos específicamente que los procesadores Intel Xeon de la serie 5500 se desarrollaran con la tecnología Intel QuickPath, que permite que todos los núcleos de CPU individuales, así como los sockets adyacentes dentro de un sistema, enruten los datos entre sus cachés más rápido». dice Gardner. “El uso de memoria DDR3 con los procesadores Intel Xeon de la serie 5500 es una buena combinación porque el procesador tiene más ancho de banda disponible y una interfaz de memoria. Cuando emparejamos el procesador Intel con DDR3 con QDR InfiniBand, pudimos minimizar la latencia y mejorar el rendimiento en el sistema VSMP para el rendimiento de la memoria. Los procesadores Intel Xeon de la serie 5500 por sí solos nos brindan una clara mejora del rendimiento del 40% con respecto a la generación anterior de procesadores Intel, por lo que estamos construyendo nuestro sistema en un procesador mucho más rápido «.

ICBR eligió el chasis blade Dell PowerEdge M1000e para el sistema VSMP por varias razones. “Era el único sistema que consideramos capaz de proporcionarnos los DIMM DDR3 con búfer que necesitábamos dentro de nuestras limitaciones de tiempo”, dice Gardner. “De los sistemas que consideramos, también era el único disponible con QDR InfiniBand y facilita la interconexión de InfiniBand entre nodos usando el backplane, por lo que no hay cables involucrados. Esto aumenta la confiabilidad y el tiempo de actividad del sistema VSMP. Por tanto, el sistema Dell fue el sistema más completo, desde el punto de vista de las características, para la implementación de la solución VSMP, en comparación con los otros que consideramos «.

Reducción de gastos de gestión general

El controlador de administración de chasis doble de Dell (CMC) en el gabinete blade modular PowerEdge M1000e proporciona a los administradores rutas de acceso seguras y redundantes para administrar blades desde una única consola como una única imagen del sistema. Las tarjetas de acceso remoto de Dell integradas para todos los blades y gabinetes permiten la administración remota, lo que, junto con la reducción en la complejidad de la administración, ayudó a que el equipo de Gardner tuviera más tiempo para trabajar con los investigadores sobre cómo usar el mejores recursos.

«Otro factor que nos gusta es la huella de energía», dice Gardner. “El sistema blade Dell PowerEdge tiene solo seis fuentes de alimentación, tres de las cuales son necesarias para ejecutar el sistema y son fuentes de alimentación más eficientes. Nos ayuda a ahorrar 6U-10U de espacio en rack y también a ahorrar en los recursos limitados que tenemos en nuestra sala de servidores para energía y enfriamiento en comparación con tener fuentes de energía en cada sistema discreto «.

La tecnología VSMP en sí es proporcionada por Dell Business Partner ScaleMP. Con el software ScaleMP vSMP Foundation para SMP, varios sistemas físicos parecen funcionar como un sistema lógico. La innovadora arquitectura ScaleMP Versatile SMP (vSMP) agrega varios sistemas x86 en un único sistema x86 virtual, lo que proporciona una computadora SMP de gama alta estándar de la industria. ScaleMP utiliza software para reemplazar hardware y componentes personalizados para ofrecer un nuevo paradigma informático revolucionario.

Instalación e implementación rápidas

Una vez que el ICBR recibió el gabinete y los blades Dell, Gardner y su equipo tardaron alrededor de tres horas en instalar, encender y diagnosticar. «Nos estábamos tomando nuestro tiempo», dice Gardner. «Podríamos haberlo hecho más rápido».

La implementación del software VSMP tomó aproximadamente un día con un representante de ScaleMP en el sitio para facilitar la tecnología VSMP. “Pudimos hacer esto porque el hardware de Dell funcionó sin problemas”, dice Gardner. “Y también porque ya habíamos creado una imagen de producción reforzada estandarizada que pudimos implementar en el sistema. Hemos comprado una gran cantidad de hardware de Dell en el pasado, por lo que fue muy fácil para nosotros trabajar dentro de la relación existente y llegar a la solución VSMP rápidamente «.

Resultados hasta 160 veces más rápidos

Antes de la solución VSMP, había varias aplicaciones que la universidad ejecutaba en un clúster SMP estándar de máquinas x86 con resultados insatisfactorios. «Estábamos alcanzando los límites de memoria en los nodos individuales, lo que significaba que los trabajos tomaban más tiempo y, a veces, simplemente no podían», dice Gardner. “Así que tener este sistema de memoria más grande nos permitió hacer el trabajo y hacerlo. Hemos visto algunas mejoras sustanciales en el rendimiento porque podemos ejecutar todos los datos en la memoria, sin tener que ir al disco. Por ejemplo, una aplicación de ensamblaje tardó 10 días en nuestro antiguo clúster y solo tardó una hora y media en completarse en el clúster Dell VSMP «.

Además, la universidad puede permitir que los investigadores realicen estos trabajos de forma interactiva y en tiempo real, en lugar de hacer cola. Esto les permite experimentar más e incluso desarrollar nuevos métodos de análisis con el sistema. «Esto realmente ayuda a obtener una mejor respuesta en términos del análisis que estamos haciendo», dice Gardner. “Por ejemplo, una aplicación de ensamblaje de DeNova estaba cambiando al disco porque todas las secuencias y alineaciones no cabían en la memoria. Antes de que tuviéramos el sistema VSMP, habríamos tenido que recurrir a eliminar algunas secuencias o ensamblar varios conjuntos más pequeños juntos. Estos enfoques a veces pueden producir resultados inferiores o engañosos y hacer que pierda coherencia y profundidad con las estadísticas de ensamblaje adquiridas por el software. Al poder reunir con éxito todos los datos de un proyecto a la vez y obtener el resultado rápidamente, tenemos la capacidad de iterar parámetros y adaptar nuestros métodos de análisis casi en tiempo real. Es preferible esperar una semana y verse obligados a trabajar con todo lo que recibimos debido a las limitaciones de tiempo asociadas con la repetición de este tipo de trabajos «.

Completando el círculo

Además de la solución Dell VSMP, ICBR ha comprado los conmutadores Dell PowerConnect 6248, 6224, 6220, 5224 Gigabit Ethernet para la infraestructura de red. «Nos encantan las capacidades de apilamiento de los conmutadores Dell», dice Gardner. “También compramos algunos conmutadores Dell PowerConnect 8024 10 Gigabit Ethernet como una interconexión de front-end para reemplazar nuestra infraestructura Gigabit existente.

Con el hardware de 10GbE reciente, estamos comenzando a ver que el rendimiento mejora a un nivel aceptable y podemos ejecutar casi todos los protocolos en 10GbE. También podemos involucrar a una mayor parte de nuestro personal de TI en el apoyo a la informática de investigación porque los protocolos de red y almacenamiento y los paradigmas de 10GbE les son familiares «.

A medida que el ICBR proporciona a sus investigadores la potencia de procesamiento más rápida necesaria, la ciencia de la secuencia genética se acelerará y producirá resultados más rápidos para las ciencias de la vida. El resultado inmediato serán más proyectos de investigación y más subvenciones para financiarlos.

«Está todo en los periódicos», dice Farmerie. “Al publicar artículos, nuestros científicos están utilizando datos del clúster VSMP de Dell para generar la próxima ronda de propuestas que atraerán fondos. Por tanto, existe el ciclo que debe completarse cada vez para guiar el proceso científico en el futuro. «

Descubra cómo la Universidad de Florida utiliza las soluciones Dell HPC para permitir la investigación científica

Para obtener más información, visite: DellHPCSolutions.com

Recuerda compartir en una historia de tu Instagram para que tus amigos lo flipen

??? ? ? ???

Comparte