¿Cuadrículas o nubes para HPC? - Calendae | Informática, Electrónica, CMS, Ciberseguridad

¿Cuadrículas o nubes para HPC?

Hola, un placer verte por aquí. En el teclado Simón Sánchez y hoy vamos a hablar sobre ¿Cuadrículas o nubes para HPC?

De vez en cuando, la gente hace preguntas como «¿Se trasladará HPC a la nube?» o «Ahora que se acepta la computación en la nube, ¿están muertas las redes?» o incluso «¿Tengo que crear mi cuadrícula en la nube ahora?» A pesar de todos los desarrollos prometedores en el campo de la computación en red y en la nube y la avalancha de publicaciones y discursos sobre este tema, muchas personas todavía parecen confundidas y reacias a dar el siguiente paso. Creo que hay varios problemas que impulsan esta incertidumbre.

Las redes no han cumplido todas sus promesas

Las redes no han evolucionado (como algunos de nosotros pensamos inicialmente) en la subsiguiente infraestructura de TI que es fundamental para todo y para todos. Debido a la diversidad de entornos informáticos, tuvimos que desarrollar diferentes pilas de middleware (departamento, empresa, global, informática, datos, sensores, herramientas, etc.) y tuvimos que lidiar con diferentes modelos de uso con diferentes beneficios. Las redes corporativas proporcionaron (y están proporcionando) una mejor utilización de los recursos y flexibilidad empresarial, mientras que las redes globales son más adecuadas para colaborar con aplicaciones complejas de investigación y desarrollo con recursos compartidos. Para uso comercial, la configuración y operación de redes a menudo era complicada. Para los investigadores, este rasgo fue visto como un mal necesario. La implementación de aplicaciones complejas en sistemas HPC nunca ha sido fácil. Entonces.

Grid: la puerta de entrada a la nube

Después de 40 años de trabajar con HPC, la computación en cuadrícula fue de hecho el próximo gran desafío para el gran desafío, gran investigador científico, mientras que para el CIO corporativo, la cuadrícula fue una puerta de entrada al modelo de nube. Para la empresa actual, las nubes brindan todas las piezas que faltan: facilidad de uso, economías de escala, elasticidad empresarial hacia arriba y hacia abajo y pago por uso (eliminando así algunos gastos de capital). Y donde la seguridad importa, siempre está la nube privada. En entornos empresariales más complejos, con aplicaciones que se ejecutan bajo diferentes políticas, las nubes privadas pueden conectarse fácilmente a las nubes públicas y viceversa a una infraestructura de nube híbrida, para equilibrar la seguridad y la eficiencia.

Diferentes políticas, ¿qué significa esto?

Ningún trabajo de postulación es igual. Los trabajos difieren en prioridad, importancia estratégica, fecha límite, presupuesto, propiedad intelectual y licencias. Además, la naturaleza del código a menudo requiere una arquitectura de computadora, un sistema operativo, una memoria y otros recursos específicos. Estos importantes diferenciadores influyen mucho en dónde y cuándo se ejecuta un trabajo. Para cada nuevo tipo de trabajo, un conjunto de requisitos específicos decide el conjunto de políticas específicas que deben definirse y programarse, de modo que cada uno de estos trabajos se ejecute solo bajo estas políticas. Idealmente, esto está asegurado por un intermediario de recursos dinámico que controla el envío a los recursos de la red o la nube, ya sean locales o globales, privados o públicos.

¿Cuadrículas o nubes?

Una pregunta importante aún está abierta: ¿Cómo sé y luego le digo al agente de recursos si mi aplicación debe ejecutarse en la red o en la nube? La respuesta, entre otras cosas, depende de la estructura algorítmica de la parte del programa que requiere un uso intensivo de la computación, que puede no tolerar una latencia alta y un ancho de banda bajo. Esto se observó con los resultados del benchmark. Las limitaciones de rendimiento se destacan principalmente por las aplicaciones paralelas con comunicaciones entre procesos estrechamente acopladas y con uso intensivo de datos que se ejecutan en cientos o incluso miles de procesadores o núcleos.

Sin embargo, la buena noticia es que muchas aplicaciones de HPC no requieren un gran ancho de banda ni una baja latencia. Los ejemplos son estudios de parámetros que se ven a menudo en ciencia e ingeniería, con la misma aplicación realizada para muchos parámetros, lo que da como resultado muchos trabajos independientes, como analizar datos de un colisionador de física de partículas, identificar el parámetro de solución en optimización, ejecuciones de conjuntos para cuantificar las incertidumbres del modelo climático, identificación de posibles dianas de fármacos mediante el cribado de una base de datos de estructuras de ligandos, estudio de la sensibilidad del modelo económico a los parámetros y análisis de diferentes materiales y sus resistencia en las pruebas de choque, por nombrar solo algunos.

Una cuadrícula en la nube

Un gran ejemplo de un proyecto que construyó una cuadrícula en la nube es Gaia, una misión financiada por la Agencia Espacial Europea que tiene como objetivo monitorear mil millones de estrellas. Las imágenes de máquina de Amazon (AMI) se configuraron para el software de procesamiento y cuadrícula de la base de datos de Oracle (AGIS). El resultado es una cuadrícula de Oracle que se ejecuta dentro de Amazon Elastic Compute Cloud (EC2). Para procesar cinco años de datos para 2 millones de estrellas, 24 iteraciones de 100 minutos cada una dan como resultado 40 horas de 20 instancias de CPU EC2. Los beneficios incluyen costos reducidos (50 por ciento en comparación con la solución interna) y una gran escalabilidad bajo demanda sin tener que invertir en otros nuevos.
infraestructura o capacitar personal nuevo. Y solo se cambió una sola línea de código fuente para que funcione en la nube.

HPC necesita redes y nubes

Según la Iniciativa de Computación Extrema de DEISA (DECI), todavía hay muchas aplicaciones científicas y de ingeniería que solo se pueden ejecutar de manera efectiva en las supercomputadoras más grandes y costosas. En DEISA, una red europea de HPC, también llamada ecosistema de HPC, está formada por 11 nodos teraflops.

Hoy en día, nadie crearía una nube HPC para estas aplicaciones en particular. Simplemente no sería un negocio rentable, el «mercado» (es decir, los usuarios de HPC) es demasiado pequeño y, por lo tanto, carece de economía de escala. En algunos escenarios de aplicación científica específicos, con flujos de trabajo complejos de diferentes tareas (nodos), una infraestructura híbrida puede tener sentido: recursos de capacidad en la nube y nodos de capacidad HPC, que brindan lo mejor de ambos mundos.

Acerca de

Wolfgang Gentzsch es asesor de difusión de la iniciativa europea distribuida DEISA para aplicaciones de supercomputación. Es profesor adjunto de ciencias de la computación en la Universidad de Duke en Durham y científico invitado en el Instituto de Computación Renaissance RENCI en UNC Chapel Hill, ambos en Carolina del Norte. De 2005 a 2007 fue presidente de la iniciativa alemana D-Grid. Más recientemente, fue Vicepresidente del Grupo de Reflexión de Infraestructura Electrónica e-IRG; Director de Área de Grandes Proyectos de Red del Grupo Rector del OGF Open Grid Forum; y es miembro del Consejo de Asesores de Ciencia y Tecnología del Presidente de los Estados Unidos (PCAST-NIT).

Puedes compartir en tus redes sociales para que tus amigos opinen

??? ? ? ???

Comparte