DOE Labs para construir nubes científicas - Calendae | Informática, Electrónica, CMS, Ciberseguridad

DOE Labs para construir nubes científicas

Hola otra vez. Yo soy Simón Sánchez y en el día de hoy hablaremos sobre DOE Labs para construir nubes científicas

Al igual que muchas organizaciones que dependen de centros de datos de grado industrial, el Departamento de Energía de los Estados Unidos (DOE) desea saber si la computación en la nube puede hacer su vida más fácil. Para responder a esta pregunta, el DOE está lanzando un programa de $ 32 millones para estudiar cómo los códigos científicos pueden usar la tecnología en la nube. Llamado Magellan, el programa será financiado por la Ley de Recuperación y Reinversión Estadounidense (ARRA), y el dinero se dividirá en partes iguales entre los dos centros del DOE que realizarán el trabajo: la Instalación de Computación de Liderazgo Argonne (ALCF) en el Laboratorio Nacional de Argonne y la Energy Research Scientific Computing Center (NERSC) en el Laboratorio Nacional Lawrence Berkeley.

Una de las principales preguntas que el estudio espera responder es qué tan bien se adaptan las cargas de trabajo científicas de rango medio del DOE a varias arquitecturas de nube y cómo esas arquitecturas podrían optimizarse para aplicaciones de HPC. Hoy en día, la mayoría de las nubes públicas no tienen el rendimiento de red, la CPU y las capacidades de memoria para manejar muchos códigos HPC. El entorno de software en las nubes públicas también puede estar en desacuerdo con HPC, ya que se han realizado pocos esfuerzos para optimizar el rendimiento informático a nivel de aplicación. Las nubes HPC especialmente diseñadas podrían ser la respuesta, y gran parte del esfuerzo de Magellan se centrará en desarrollar estas «nubes científicas» privadas.

Sin embargo, la pregunta más importante es si el modelo de nube en general es aplicable a las aplicaciones informáticas de alto rendimiento utilizadas en los laboratorios del DOE y puede ofrecer un enfoque flexible y rentable para los investigadores. Según el director de ALCF, Pete Beckman, eso significa obtener la mejor ciencia por el dólar. En una arquitectura de nube, la virtualización de recursos generalmente resulta en una mejor utilización del hardware. En el ámbito de la HPC, sin embargo, la virtualización puede ser un asesino del rendimiento, y la utilización a menudo no es el gran problema en los centros de datos comerciales donde el hardware generalmente está asegurado. Quizás lo más interesante para los usuarios de HPC es la capacidad de acelerar la entrega de aplicaciones aprovechando la capacidad de la nube para encapsular entornos de software completos.

«Hay muchos usuarios que dedican tiempo a desarrollar su propio software dentro de su pila de software», dice Beckman. “Hacer que funcionen en supercomputadoras tradicionales puede resultar bastante complicado. En el modelo de nube, a estas personas a veces les resulta más fácil llevar consigo su pila de software. Esto puede ampliar la comunidad. «

Se examinará la gama completa de códigos científicos del DOE, incluida la investigación energética, el modelado climático, la bioinformática, los códigos físicos, las matemáticas aplicadas y la investigación informática. Pero la atención se centrará en los códigos que normalmente se ejecutan en clústeres de capacidad HPC, que representan gran parte de la infraestructura de TI de los laboratorios DOE actuales. En general, el código que requiere supercomputadoras de alta capacidad como Cray XT e IBM Blue Gene no se considera candidato para entornos de nube. Esto se debe principalmente al hecho de que las aplicaciones de supercomputación a gran escala tienden a estar estrechamente acopladas, dependiendo de las comunicaciones entre nodos de alta velocidad y una pila de software no virtualizado para obtener el máximo rendimiento.

De hecho, la mayor parte de los $ 32 millones del programa se gastarán en nuevos sistemas de clústeres, que serán el banco de pruebas de Magellan. Según la directora de NERSC Kathy Yelick, el hardware del clúster consistirá en sistemas HPC bastante genéricos, basados ​​en CPU Intel Nehalem y tecnología InfiniBand. El rendimiento informático total en ambos sitios será del orden de 100 teraflops. Yelick dice que también habrá una nube de almacenamiento, con poco más de un petabyte de capacidad. Además, la tecnología de memoria flash se utilizará para optimizar el rendimiento de las aplicaciones con uso intensivo de datos. Los clústeres NERSC y ALCF se vincularán a través de ESnet, La red de última generación de 100 Gbps del DOE. ESnet también recibió fondos de ARRA y se utilizará para facilitar transferencias de datos de ultra alta velocidad entre los dos sitios.

Uno de los desafíos en la construcción de una nube privada hoy en día es la falta de estándares de software. Sin embargo, el trabajo de Magellan utilizará algunos de los marcos más populares que han surgido de la comunidad de la nube. Argonne, por ejemplo, experimentará con el kit de herramientas Eucalyptus, un paquete de código abierto compatible con la API de Amazon Web Services. La idea es poder crear una nube privada con la misma interfaz que Amazon EC2.

Apache Hadoop y Google Alejar mapaTambién se evaluarán dos marcos de software relacionados que tratan con grandes conjuntos de datos distribuidos. Al igual que Eucalyptus, Hadoop y MapReduce han surgido del mundo HPC, por lo que actualmente no hay mucho apoyo para ellos en los centros de supercomputación tradicionales. Pero la noción de grandes conjuntos de datos distribuidos es una característica de muchos códigos científicos intensivos en datos y es una elección natural para el procesamiento al estilo de la nube.

El otro aspecto del esfuerzo de Magellan tiene que ver con experimentar con ofertas comerciales en la nube, como las de Amazon, Google y Microsoft. Las nubes públicas, en particular, están generando mucho interés por su capacidad para ofrecer una capacidad y elasticidad prácticamente infinitas. (Las nubes privadas, debido a su pequeño tamaño, tienden a ser vistas como activos fijos). Igual de importante para el DOE, una nube pública tiene el atractivo de descargar el desarrollo y el mantenimiento de la infraestructura local a otra persona.

«¿Será más barato para una entidad comercial ejecutar una nube, y presumiblemente beneficiarse de ella, que para el DOE ejecutar su propia nube?» Pregunta Yelick. «Esta será una de las preguntas más difíciles de responder».

Algunos investigadores del DOE ya están dando un giro a las nubes públicas. Jared Wilkening de Argonne fue probado recientemente la viabilidad de usar Amazon EC2 para ejecutar una aplicación de metagenómica (PDF). El código basado en BLAST es adecuado para la computación en la nube porque hay poca sincronización interna, por lo que no depende de interconexiones de alto rendimiento. Sin embargo, la conclusión del estudio fue que Amazon es significativamente más caro que los clústeres de propiedad local, principalmente debido al hardware de CPU más bajo de EC2 y al costo superior asociado con el acceso bajo demanda. Por supuesto, dada la creciente demanda de cargas de trabajo intensivas en computación, eso podría cambiar. El artículo de Wilkening se publicó en Cluster 2009 y las diapositivas (PDF) están disponibles en sitio web de la conferencia.

Se espera que el programa Magellan se ejecute durante dos años, y se espera que los grupos iniciales se instalen en los próximos meses. En NERSC, Yelick dice que el hardware podría llegar ya en noviembre y estar operativo en diciembre o enero. Mientras tanto, en Argonne, Beckman ya se está reuniendo con investigadores que están ansiosos por alojar sus códigos en la nube de Magellan. «Estoy en la fila», dice. «Siguen viniendo a mi oficina preguntándose cuándo estará aquí y qué tan pronto podrán acceder».

Puedes compartir en en tu Twitter y Facebook para que tus colegas lo lean

??? ? ? ???

Comparte