ALCF optimiza la E / S con un innovador "caché" - Calendae | Informática, Electrónica, CMS, Ciberseguridad

ALCF optimiza la E / S con un innovador «caché»

Hola otra vez. Yo soy Simón Sánchez y en el día de hoy vamos a hablar sobre ALCF optimiza la E / S con un innovador «caché»

Argonne Leadership Computing Facility (ALCF), una instalación para usuarios de la Oficina de Ciencias del DOE, está en camino de albergar el sistema de archivos GPFS más rápido del mundo. El innovador proyecto de actualización del almacenamiento se ocupa principalmente de reducir la cantidad de tiempo que los usuarios dedican a administrar las enormes cantidades de datos generados por las supercomputadoras de la organización.

Pregunte en una sala de científicos computacionales acerca de sus desafíos diarios y lo más probable es que la gestión de datos tenga una clasificación bastante alta. Transferir archivos y mover o archivar datos también puede llevar mucho tiempo. Los esfuerzos de optimización buscan reducir esta «distracción» para que los usuarios puedan dedicar más tiempo a su trabajo principal.

«La E / S generalmente se considera sobrecargada porque es tiempo que no se dedica a hacer cálculos», Ella dijo Bill Allcock, director de operaciones de ALCF, que dirige la actualización del almacenamiento. «El objetivo es tener un sistema que mueva datos lo más rápido y fácil posible para que los usuarios puedan concentrarse en la ciencia».

La primera fase de la actualización, ya completada por el equipo de operaciones de ALCF, agregó un segundo sistema para complementar el sistema de almacenamiento en disco primario, un IBM General Parallel File System (GPFS) que ofrece 20 petabytes (PB) de espacio utilizable y una tasa de transferencia máxima de 240 gigabytes por segundo (GB / s). La segunda configuración GPFS proporcionó 7 PB adicionales de almacenamiento y 90 GB / s de velocidad de transferencia. A pesar de ser dos sistemas de archivos, el acceso a los datos del proyecto está habilitado desde lo que parece ser un único directorio raíz del proyecto.

Según el equipo de ALCF, la siguiente etapa de la actualización del almacenamiento es donde reside la verdadera innovación. El primer paso fue instalar 30 GPFS Storage Server (GSS) entre el sistema informático y los dos sistemas de almacenamiento. IBM está ayudando al equipo de operaciones a personalizar y probar la funcionalidad de Active File Management (AFM) del sistema, lo que permitirá que se utilice como caché.

El ALCF explica:

En esencia, este sistema GSS actuará como una caché extremadamente grande y extremadamente rápida, ofreciendo 13 PB de espacio y 400 GB / s de velocidad de transferencia. La idea es que actuará como un búfer para evitar que el sistema de procesamiento se ralentice debido a E / S defensivas (también conocidas como puntos de control), esfuerzos de análisis y visualización, y retrasos causados ​​por la escritura de datos en la memoria.

«Básicamente, estamos desarrollando un sistema de almacenamiento que parece un procesador», dijo Allcock. «Hasta donde yo sé, ninguna otra instalación está haciendo algo como esto todavía».

Los proyectos escribirán en el caché, luego el software AFM copiará los datos a los sistemas de almacenamiento del proyecto. Los archivos se eliminarán del caché de acuerdo con las reglas de uso y retención, pero los usuarios aún podrán acceder a esos archivos sin ningún problema sin tener que saber si todavía están en el caché o en el archivo.

«Tendrán la capacidad de controlar dónde están los datos», dice Lockhart, «pero debido a que la caché es enorme, es probable que nunca necesiten volver a almacenar en caché los datos después de que se eliminen».

Se espera que la configuración de caché esté Online este otoño.

Deberías compartir en tu Facebook para que tus colegas lo vean

??? ? ? ???

Comparte