Spider II emerge para darle a ORNL un gran impulso de velocidad

Hola y mil gracias por leerme. Te escribe Simón Sánchez y hoy hablaremos sobre Spider II emerge para darle a ORNL un gran impulso de velocidad

Cuando la supercomputadora Jaguar del Laboratorio Nacional Oak Ridge se transformó en el Titán en 2012, proporcionó un gran impulso en la potencia informática. Recientemente, el sistema de archivos paralelo de ORNL, llamado Spider, recibió una revisión similar y está en proceso de emerger como Spider II.

Cuando esté Online este otoño, el sistema de archivos Spider II basado en Lustre entregará más de 1 TB por segundo de ancho de banda de gama alta en la red basada en InfiniBand de ORNL, en comparación con los 240 GB por segundo proporcionados por el Spider original. La capacidad total de almacenamiento del sistema de archivos aumentó de 10 PB a 32 PB, según una historia del sitio web de Oak Ridge Leadership Computing Facility.

«A esa velocidad, esperamos que Spider II esté seguro junto con los primeros tres sistemas de archivos paralelos del mundo», dijo Sarp Oral, jefe de proyectos de sistemas de almacenamiento y archivos en el Grupo de Integración de Tecnología, dentro del Centro Nacional de Ciencias Computacionales ( NCCS), le dijo a la ORLCF.

Spider fue único en el sentido de que fue el primer recurso compartido de forma centralizada que sirvió a todas las principales plataformas OLCF, incluido Jaguar (ahora Titan), el grupo de pantallas LENS, el grupo de desarrollo Smoky y los servidores GridFTP del laboratorio. Los datos almacenados centralmente en Spider eran accesibles para estos y otros sistemas, para un total de más de 26,000 nodos de cómputo en total.

El tamaño físico de Spider aumentó con Spider II, que ocupa 672 pies cuadrados en cuatro filas de gabinetes. Dentro de los gabinetes se encuentran los servidores de E / S y una matriz de almacenamiento de alta gama que controla más de 20,000 discos.

El proyecto Spider II también incluyó una actualización de Lustre 2.4, que debería mejorar la escalabilidad del laboratorio y el rendimiento de los metadatos, y proporcionar otras características nuevas para beneficio del laboratorio.

Por ejemplo, Lustre 2.4 amplía el número de destinos de almacenamiento de objetos para archivos compartidos individuales de 160 a 2000. Una mejora del sistema del espacio de nombres distribuido admitirá a más usuarios y mejorará el rendimiento y la escalabilidad generales de los metadatos, dice el ORLCF, mientras que las restauraciones completas de Titan también se pueden realizar en minutos, «una gran reducción». que las veces anteriores «.

«Spider II permite que nuestro sistema de archivos paralelo se mantenga al día con el tamaño y la potencia de cálculo recientemente incrementados de Titan», dijo a ORLCF Bronson Messer del NCCS Scientific Computing Group. “La mejora anticipada de los metadatos, en particular, debería permitir a nuestros usuarios producir y analizar el tipo de conjuntos de datos grandes y complejos que esperamos producir en Titan. Spider II debería ser más grande y mejor. »

Spider II es el resultado de la colaboración de muchas partes, incluido el personal de OLCF, Data Direct Networks (DDN), Cray, Mellanox y Dell.

Artículos relacionados

Conexiones Spider Up y Spinning a todas las plataformas de procesamiento en ORNL

El vampiro llega a la ocasión en ORNL

Raijin debuta como la supercomputadora más rápida de Australia

Puedes compartir en en tu Twitter y Facebook para que tus colegas opinen

??? ? ? ???

Comparte