Saluda al nuevo ADIOS - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Saluda al nuevo ADIOS

Hola, ¿qué tal colega?. Soy Simón Sánchez y en el día de hoy te voy a contar sobre Saluda al nuevo ADIOS

La biblioteca de rendimiento de E / S actualizada mejora la facilidad de uso y ofrece un rendimiento aún mejor

Las grandes máquinas son una cosa. Aprovechar todo su potencial es otra cosa. El rendimiento de las aplicaciones se ha quedado corto por mucho tiempo con respecto al hardware, ya que las supercomputadoras han buscado, conectado y ahora superan al petaflop.

Uno de los factores que comúnmente afectan el rendimiento de la aplicación es la entrada / salida (E / S). Los investigadores suelen tener que elegir entre el rendimiento de sus aplicaciones y la cantidad y calidad de los datos que escriben.

Es un problema familiar para Scott Klasky de Oak Ridge Leadership Computing Facility (OLCF) desde sus primeros años como investigador con un equipo en el Laboratorio de Física del Plasma de Princeton utilizando el Código Toroidal Gyrokinetic.

«Observamos el rendimiento con la frecuencia que quisiéramos escribir, y nos llevó más del 30% del tiempo escribir los archivos de análisis en un formato de archivo muy popular. El treinta por ciento de todo el tiempo de procesamiento escribiendo datos en un archivo es demasiado ”, dijo Klasky. «Los científicos finalmente decidieron que, a menos que fuera una ejecución de la que definitivamente quisiéramos obtener algo de visualización, no los escribiríamos porque estábamos perdiendo nuestro precioso tiempo de procesamiento haciéndolo».

Klasky, junto con un equipo de investigadores (Qing Liu, Norbert Podhorszki, Jay Lofstead, Hasan Abbasi, Ron Oldfield, Matt Wolf, Fang Zheng, Ciprian Docan, Manish Parashar, Weikuan Yu, Yuan Tian, ​​Nagiza Samatova, Sriram Lakshminarasimh, Todd Kordenbrock y otros) de Georgia Tech, OLCF, Rutgers University y Sandia National Laboratories son los desarrolladores de ADIOS, un middleware de código abierto con el objetivo principal de hacer que el proceso de entrada y salida de información de una supercomputadora sea más fácil y efectivo.

La semana pasada, el equipo lanzó ADIOS 1.2, la última encarnación de una de las herramientas de E / S más efectivas de la ciencia computacional. Hasta ahora, ADIOS ha ayudado a los investigadores a lograr grandes avances en la fusión, la astrofísica y la combustión. La nueva versión presenta algunas mejoras interesantes que sin duda ayudarán a los investigadores a aprovechar al máximo las principales plataformas de supercomputación.

Para empezar, las versiones anteriores de ADIOS requerían que los usuarios crearan un archivo XML externo que les permitiera organizar las variables de simulación en grupos distintos y agregar metadatos importantes a su salida. Con la nueva interfaz de programación de aplicaciones (API), que permite la interacción entre diferentes paquetes de software, los usuarios ahora pueden insertar API directamente en su código y construir de forma interactiva nuevas variables en tiempo de ejecución. Esto fue especialmente importante para los códigos Adaptive Mesh Refinement (AMR), como Chombo, que puede alterar las variables colocadas en el disco en tiempo de ejecución. Esta nueva API hace que ADIOS sea mucho más flexible y permite a los investigadores elegir si definir la salida en un archivo externo para una máxima flexibilidad o en sus propios códigos.

ADIOS también tiene un método de E / S personalizado que escribe datos en archivos secundarios y los agrega en trozos más grandes para un rendimiento máximo en sistemas de clase ejecutiva. Se ha demostrado que este método logra un rendimiento de E / S cercano al pico para muchos códigos, sobre todo S3D, en Cray XT5 y Cray XT4 en el Centro de Computación Científica de Investigación de Energía Nacional de OLCF y Lawrence Berkeley National Laboratory.

«Ahora podemos acelerar aplicaciones como S3D a un ancho de banda de E / S cercano al pico a través de API de ADIOS simples y fáciles de usar», dijo Qing Liu, miembro del equipo de ADIOS en OLF. «También podemos acelerar S3D en un factor de 15. Esto se logra agregando y escribiendo de manera inteligente los datos de destino de almacenamiento en ADIOS».

Los usuarios que ejecutan sistemas grandes ahora pueden cambiar entre ejecutar en procesadores P y escribir en archivos P o en uno o más archivos M, de forma transparente. Los usuarios de ADIOS pueden cambiar al mejor método para sistemas individuales, incluido IBM Blue Gene / P en el Laboratorio Nacional Argonne, donde la estudiante de doctorado Yuan Tian, ​​junto con su asesor Weikuan Yu en la Universidad de Auburn, creó un método personalizado para escribir de manera más eficiente con ADIOS.

La versión 1.2 también ofrece soporte adicional para datos autodescriptivos en la salida. Los usuarios ahora pueden escribir más estadísticas en sus datos y tener más flexibilidad en su salida. Por ejemplo, los usuarios pueden recuperar automáticamente la desviación media, mínima, máxima y estándar de todos los arreglos a un costo de cálculo insignificante. Esta función permite a los usuarios tomar archivos grandes (terabytes) y determinar automáticamente estos parámetros en menos de 2 segundos al enumerar el contenido de los datos. Además, los usuarios pueden obtener estas estadísticas para cada paso de tiempo independiente en la salida.

Finalmente, la versión 1.2 presenta algunos nuevos métodos de transporte asíncrono, que permiten una E / S aún más rápida. El truco es planificar. La E / S utiliza el ancho de banda de la red y, al aprovechar el tiempo de inactividad durante la comunicación entre procesadores, los investigadores «básicamente pueden obtener E / S gratis», dijo Klasky.

Por ejemplo, los métodos DataTap y Network Scalable Service Interface (NSSI), de Georgia Tech y Sandia Labs respectivamente, envían datos a un conjunto de nodos definido por el usuario (un área de preparación) y escriben datos desde estos nodos. , lo que reduce el rendimiento del enlace entre el sistema de archivos y la aplicación. Además, el método DataSpace de Rutgers crea un entorno PGAS en el área de preparación para que el código compilado de forma independiente con ADIOS pueda usarse como servicios para emparejarlos de manera eficiente.

“El objetivo de esta versión es una mayor compatibilidad y conveniencia para el usuario. La introducción de llamadas a la API para reemplazar el archivo XML aborda las solicitudes de larga data de una parte pequeña pero vocal de nuestra comunidad de usuarios «, dijo el miembro del equipo Jay Lofstead.» Las mejoras centradas en AMR amplían las clases de aplicaciones que puede usar ADIOS mientras mantiene un 100% de compatibilidad con versiones anteriores. Algunos cambios adicionales simplifican la experiencia del usuario «.

Tomadas por separado, todas las mejoras individuales de ADIOS representan un progreso significativo hacia simulaciones más eficientes. En conjunto, representan una innovación importante en la forma en que se llevará a cabo la ciencia computacional.

«Trabajar con Scott Klasky y su equipo ha cambiado nuestra investigación y software, como DataTap y Data Staging, de ser prototipos de investigación interesantes a ser artefactos que satisfacen las necesidades reales de las simulaciones de petaescala», dijo Karsten Schwan. , miembro del equipo de Georgia Tech. «Desde entonces, mientras también interactuamos con las comunidades de modelos de fusión, astrofísica y combustión, no solo hemos encontrado formas de aliviar sus problemas con E / S a gran escala, sino que también hemos obtenido información valiosa sobre las formas de organizar mejor sus datos y analizarlos rápidamente para ayudar a los científicos a comprender el comportamiento de sus códigos de petaescala y adquirir el conocimiento científico que buscan «.

Existen pocos límites previsibles para el potencial de ADIOS. A medida que se extienda a plataformas adicionales, la simulación de la gran ciencia se volverá más simple, permitiendo a los investigadores centrarse más en sus hallazgos que en los aspectos técnicos de sus simulaciones. Y a medida que la informática de alto rendimiento se convierta en una herramienta de investigación cada vez más poderosa, no habrá escasez de científicos agradecidos.

Para obtener más información sobre ADIOS y / o descargar la fuente, eche un vistazo al proyecto página web.

No te olvides compartir en tu Facebook para que tus amigos lo consulten

??? ? ? ???

Comparte