Flash Forward: SDSC lanza la supercomputadora intensiva en datos - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Flash Forward: SDSC lanza la supercomputadora intensiva en datos

Hola, un placer verte por aquí. Te escribe Simón Sánchez y esta vez hablaremos sobre Flash Forward: SDSC lanza la supercomputadora intensiva en datos

Gordon, la computadora basada en flash más grande del planeta, fue lanzada oficialmente en una ceremonia celebrada el lunes en el San Diego Supercomputer Center (SDSC). Después de dos años de trabajo y con el respaldo de una subvención Track 2 de $ 20 millones de la National Science Foundation (NSF), Gordon representa la primera supercomputadora verdaderamente grande creada específicamente para aplicaciones de uso intensivo de datos.

Mark Seager, anteriormente del Laboratorio Nacional Lawrence Livermore y ahora CTO de Intel para el grupo de Ecosistemas HPC, habló en el evento y dijo que las tecnologías de uso intensivo de datos que están siendo pioneras en Gordon están listas para abrirse camino en el mercado empresarial más ancho. Pero, señaló, tienen especial relevancia para la comunidad HPC. «Vemos el big data como una nueva frontera en la informática de alto rendimiento», dijo Seager.

La intención de SDSC y NSF es aprovechar el código científico intensivo en datos que nunca ha tenido una plataforma de este tamaño para ir más allá. Esto es especialmente cierto en la genómica, un conjunto de aplicaciones que estaba principalmente en la mente de los ingenieros de sistemas cuando se diseñó la máquina. La genómica es el problema científico clásico de los «grandes datos» y es el que se cita con más frecuencia en los círculos de HPC como afectado por la inundación de la crisis de datos. Otras áreas de aplicación, como problemas de gráficos, geofísica, análisis del mercado financiero y minería de datos, deberían ser dominios importantes para Gordon.

En cuanto al hardware, el sistema es un clúster Appro HPC manipulado, que utiliza la arquitectura Xtreme-X de tercera generación del proveedor y presenta las nuevas CPU Intel Xeon E5 «Sandy Bridge» de 22 nm (que, por cierto, no todavía están disponibles en general). Compuesto por 1.024 nodos de doble socket con 64 GB de memoria DDR3, Gordon ofrece un rendimiento máximo de 280 teraflops. No es exactamente un procesamiento de alto nivel en la era de la petaescala, sin embargo, fue suficiente para ganar el puesto 48 del sistema en la última lista TOP500.

Pero es la configuración de la memoria flash lo que convierte a Gordon en un monstruo de datos. El sistema está equipado con más de 300 TB de unidades de estado sólido Intel, distribuidas en 64 «nodos de E / S». Según el director de SDSC, Mike Norman, esa es suficiente capacidad flash para archivar todo el catálogo de películas de Netflix tres veces. También es lo suficientemente grande como para contener 100.000 genomas humanos, que probablemente sea más grande que ese conjunto de datos en particular tal como existe hoy.

Lo más impresionante es el rendimiento IOPS agregado de la máquina. En la ceremonia del lunes, Norman actualizó los 64 nodos de E / S, lo que demuestra una producción máxima de 36 millones de IOPS. A esa velocidad, podrías descargar 220 películas por segundo.

El otro aspecto único de Gordon es el uso de la tecnología «Versatile SMP» (vSMP) de ScaleMP. Permite a los usuarios ejecutar aplicaciones de gran memoria en lo que ellos llaman un «supernodo»: una agregación de 32 servidores Gordon y dos servidores de E / S, proporcionando acceso a 512 núcleos, 2 TB de RAM y 9,6 TB de flash. Para un programa que se ejecuta en un supernodo, el hardware se comporta como un gran servidor consistente en caché. La máquina puede esculpir hasta 32 de estos supernodos al mismo tiempo. Según el fundador y director ejecutivo de ScaleMP, Shai Fultheim, Gordon es el sistema más grande del mundo implementado con su tecnología.

El dispositivo flash utilizado es el nuevo iSolid-State Drive 710 de Intel, que se lanzó en septiembre en el Intel Developer Forum en San Francisco. El 710 utiliza la tecnología Intel High Endurance Technology (HET), que es la versión del fabricante de chips de la memoria flash de celda multinivel empresarial (eMLC) que otros proveedores de flash ofrecen ahora. Al igual que eMLC, HET flash ofrece el rendimiento y la resistencia del flash de celda de un solo nivel (SLC), pero a un costo mucho menor. SDSC también ha desarrollado sus propios controladores de dispositivos flash para maximizar el rendimiento del equipo SSD.

Nunca antes se había intentado insertar tanta memoria flash en una supercomputadora y este era probablemente el mayor riesgo para el proyecto. Cuando comenzaron el esfuerzo de Gordon hace dos años, la memoria flash estaba comenzando a abrirse camino en el almacenamiento empresarial y era una tecnología cara y no probada. Los $ 20 millones en fondos para una supercomputadora cargada de flash se basaron en proyecciones de que el costo y la densidad de la memoria NAND harían posible implementar cientos de SSD de terabytes para 2011.

Este ha resultado ser más o menos el caso, pero la recesión mundial y el aumento vertiginoso de los teléfonos inteligentes y otros dispositivos informáticos móviles en los últimos años han provocado que el precio de la memoria flash se dispare a medida que caen los inventarios. La reciente comercialización de flash MLC de capacidad empresarial, como los SSD de Intel, resultó ser un regalo para Gordon, ya que le permitió a SDSC aumentar la capacidad flash inicial de 256 TB a más de 300 TB.

SDSC también tuvo la suerte de haber encontrado un socio disponible en Appro, un proveedor de sistemas de nivel 2 listo para construir un clúster de HPC bastante poco convencional. Según el director asociado de SDSC, Allan Snavely, se pusieron en contacto con IBM y Cray para aceptar a Gordon, pero ambos proveedores esencialmente han dicho que no están dispuestos a cambiar sus hojas de ruta de productos por un solo contrato de 20 millones de dólares. Appro, por supuesto, espera que Gordon no sea una máquina de una sola vez.

Aunque el sistema se lanzó oficialmente el lunes, actualmente se encuentra en pruebas de aceptación y se espera que esté disponible para uso de producción por parte de los usuarios de XSEDE el 1 de enero.

No te olvides compartir en tus redes sociales para que tus amigos lo lean

??? ? ? ???

Comparte