El grupo de almacenamiento Exascale tiene como objetivo acelerar la E / S

Hola y mil gracias por leerme. Yo soy Simón Sánchez y en el día de hoy te voy a hablar sobre El grupo de almacenamiento Exascale tiene como objetivo acelerar la E / S

La supercomputación a exaescala plantea una serie de desafíos importantes, quizás ninguno más que el del sistema de almacenamiento y, en particular, el software que conlleva. Las capacidades de E / S en la informática de alto rendimiento generalmente se han quedado rezagadas con respecto a las capacidades de procesamiento de dichos sistemas, especialmente en el extremo superior. Si no se resuelven, estos problemas de almacenamiento a exaescala prometen volverse aún más intratables cuando estas primeras máquinas comiencen a aparecer hacia el final de la década.

La motivación para alinear las capacidades de E / S de almacenamiento con las supercomputadoras exaflops reside principalmente en los usuarios finales de esos sistemas y los proveedores de almacenamiento que proporcionarán las soluciones. Afortunadamente, un grupo de partes interesadas se unió para ayudar a desarrollar una solución.

Poco después de su fundación en diciembre de 2010, el consorcio sin fines de lucro European Open File System (EOFS) creó un Exascale IO Workgroup (EIOW). Su misión declarada es diseñar y construir middleware de E / S de código abierto para satisfacer las necesidades de almacenamiento a gran escala, con la esperanza de que la comunidad HPC y los proveedores de almacenamiento adopten la solución resultante para este escalón más alto del mercado.

La primera reunión de la EIOW se celebró el 7 de febrero en Munich, Alemania, para traer a las partes interesadas a la mesa y poner en marcha el esfuerzo. Peter Braam, que dirige el grupo de sistemas de archivos de Xyratex y es uno de los principales impulsores de EIOW, ayudó a facilitar gran parte de la discusión inicial en Munich. Le preguntamos a Braam sobre el resultado de la primera reunión del seminario, la importancia del esfuerzo de EIOW y por qué la E / S a exaescala requiere atención especial.

Calendae: ¿Cómo nació el grupo de trabajo EOFS Exascale IO y cuál es su papel en él?

Peter Braam: La evidencia fáctica, como las tendencias del mercado en los precios de los chips y el ruido de los investigadores, ha comenzado a llegarnos a diestra y siniestra de que quizás se necesite una desviación mucho más radical del paradigma actual del sistema de archivos paralelo para acercarse al almacenamiento a exaescala. Hablé con Andre Brinkman de la Universidad de Mainz, Thomas Lippert del Jülich Supercomputing Center y Toni Cortes del Barcelona Supercomputing Center y decidimos hacer algo.

Mi función es facilitar las discusiones mediante el uso de un proceso estándar de la industria para diseñar arquitecturas. Un punto en el que todos estamos de acuerdo es que debemos comenzar con las aplicaciones, dejando de lado los modelos actuales y lo que las aplicaciones requerirán en la era de la exaescala. Por lo tanto, actualmente estamos recopilando requisitos de los desarrolladores de aplicaciones como contribuyentes principales y también con una variedad de expertos en archivo.

Como resultado de los conocimientos revelados por este enfoque de aplicación, nos estamos centrando en el middleware. Esto significa que las API que las aplicaciones y el tiempo de ejecución pueden usar para controlar el almacenamiento. No tenemos la intención de especificar un backend para que los proveedores de almacenamiento puedan superponerlo en una solución nueva o existente.

Calendae: ¿Cuál es la relación entre este compromiso y otros trabajos a exaescala en curso con OpenSFS y la comunidad Lustre en general?

Braam: La imagen inicial es que el middleware podría usar Lustre u otro sistema de archivos paralelo como su almacenamiento de fondo, pero que las arquitecturas más nuevas del futuro, como las tiendas de valor clave distribuidas o las plataformas que se dirigen al almacenamiento jerárquico integrado como flash, podrían también proporciona un backend.

No estoy seguro de que OpenSFS haya discutido todavía este esfuerzo, pero fue aprobado recientemente por EOFS.

Calendae: I / O en HPC parece haber estado siempre en la curva cuando se trata de las necesidades del usuario. ¿Por qué crees que es así?

Braam: Bueno, históricamente HPC se ha centrado tanto en el procesamiento que la E / S a menudo era una ocurrencia tardía. Sin embargo, creo claramente que está cambiando, con la E / S cada vez más enfocada. Creo que una de las cosas que hemos hecho con esta iniciativa es centrarnos realmente en lo que necesitan los usuarios, por lo que tal vez con el mayor enfoque en la E / S y el enfoque del usuario que estamos logrando, podamos abordar el desequilibrios previos.

Calendae: ¿Por qué centrarse en resolver todo esto a exaescala?

Braam: Hasta cientos de petaflops, un cambio para usar la memoria caché flash o la ráfaga de búfer probablemente proporcionará una solución «suficientemente buena». Cuando vamos más allá, los números, el número de unidades necesarias, requieren un nuevo paradigma de gestión de datos. Entonces, la exaescala es donde el juego está cambiando.

Calendae: En la primera reunión del grupo de trabajo celebrada el 7 de febrero en Munich, ¿cuáles fueron los principales temas de discusión?

Braam: Los temas principales fueron cómo los programadores de aplicaciones imaginan el uso de grandes almacenes de datos, más precisamente cuáles son sus requisitos. Probablemente se resuma mejor en el resumen técnico en el sitio web del grupo de trabajo EOFS Exascale IO http://www.eiow.org/technical-summary.

Calendae: ¿Cuáles se han discutido algunos de los requisitos de E / S de exaescala?

Braam: Los tres más importantes, y quizás los menos esperados, fueron los llamados mecanismos impulsados: cómo las aplicaciones pueden afectar el ciclo de vida de los datos en términos de reutilización, longevidad e importancia; el argumento de metadatos anidados, por ejemplo, que proporciona «paquetes» con todos los datos que pertenecen a una aplicación; y esquemas para describir la estructura de datos y metadatos.

Finalmente, se ha puesto mucho énfasis en la creación de un sistema apilable que sea lo suficientemente general como para incluir múltiples esquemas existentes al tiempo que proporciona una comprensión muy clara de, por ejemplo, la coherencia transaccional y el comportamiento de la integridad de los datos en diferentes capas de software.

Por supuesto, también estaban surgiendo todos los sospechosos habituales, incluida la escalabilidad, la capacidad de administración, el diagnóstico y el rendimiento.

Recuerda compartir en tus redes sociales para que tus amigos lo lean

??? ? ? ???

Comparte