Los investigadores comprimen la E / S de registros de Hopper

Hola y mil gracias por leerme. Te escribe Simón Sánchez y esta vez te voy a contar sobre Los investigadores comprimen la E / S de registros de Hopper

Los investigadores del Laboratorio Nacional Lawrence Berkeley y Cray extrajeron más E / S de la supercomputadora NERSC Cray XE6 «Hopper» que nunca en una simulación de física de plasma que involucra más de un billón de partículas. El trabajo allanó el camino para cargas de trabajo HDF5 a exaescala aún mayores en el futuro y produjo un avance científico como beneficio adicional.

Los investigadores ejecutaron 10 conjuntos de datos separados de billones de partículas, cada uno con un tamaño de 30 a 42 TB, a través de Hopper, un sistema basado en Opteron que actualmente ocupa el puesto 19 en la lista Top 500. Los archivos se escribieron como archivos HDF5 en el sistema scratch, logrando una tasa de E / S sostenida de 27 gigabytes por segundo.

Según los investigadores, la simulación, que usó aproximadamente el 80% de los recursos informáticos de Hopper, el 90% de la memoria disponible en cada nodo y el 50% del sistema de archivos scratch Lustre, fue la más grande jamás construida para un Aplicación NERSC.

«Es una verdadera hazaña cuando se considera que incluso el cuello de botella más pequeño en una pila de E / S de producción puede degradar el rendimiento a gran escala», dice Prabhat, investigador del Grupo de Visualización Científica en Berkeley Lab y líder del grupo ExaHDF5. , que está trabajando para ampliar las capacidades de E / S del HDF5.

Prabhat (que tiene un nombre) dice que la simulación valida el trabajo del grupo ExaHDF5, financiado por la Oficina de Investigación Científica Avanzada del Departamento de Energía.

«Si hubiéramos intentado una ejecución como esta hace tres años, no habría estado seguro del nivel de rendimiento que podríamos obtener de HDF5», dice Prabhat en una historia del NERSC. «Pero gracias al progreso significativo realizado durante el proyecto ExaHDF5, ahora podemos demostrar que HDF5 puede escalar a plataformas petascale como Hopper y alcanzar velocidades de E / S cercanas al pico».

Surendra Byna, investigadora de Berkeley Lab y líder

Hopper ejecutó VPIC, una aplicación de física de plasma a gran escala que describe cómo se comportan las partículas en la reconexión magnética, que es el mecanismo físico involucrado en la aurora boreal, las erupciones solares y cómo se desarrollan las brechas en el campo magnético de la Tierra. . Gracias al trabajo, físicos de la Universidad de California, San Diego y el Laboratorio Nacional de Los Alamos pudieron descubrir una distribución de la ley de potencia en el espectro de energía de las partículas. Se suponía que la ley del poder existía, pero aún no había sido validada.

Artículos relacionados

Hopper ilumina el cosmos

Los gerentes de NERSC arrojan luz sobre «Edison»

Cálculo de la física de las burbujas

Puedes compartir en tu Facebook para que tus colegas lo consulten

??? ? ? ???

Comparte