Evaluación comparativa de HPC en la nube - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Evaluación comparativa de HPC en la nube

Hola de nuevo. Soy Simón Sánchez y en esta ocasión te voy a contar sobre Evaluación comparativa de HPC en la nube

No todas las nubes son iguales. Este es un adagio particularmente cierto cuando se trata de ejecutar cargas de trabajo de Computación de alto rendimiento (HPC). El proveedor de middleware HPC Techila Technologies se tomó el tiempo para comparar y analizar tres de las principales plataformas en la nube (Amazon Web Services, Google Compute Engine y Microsoft Azure) en el contexto de diferentes escenarios informáticos de alto rendimiento en el mundo real. Los resultados se detallan en un informe posterior, titulado simplemente «Cloud Benchmark – Round 1.»

«Si las características técnicas de una nube no están Online con las necesidades de la empresa, una solución que parece rentable puede tener un alto costo de propiedad». Esta observación de Techila explica por qué se llevó a cabo la evaluación comparativa, para explorar qué ofertas de nube y tipos de instancias funcionan mejor para una aplicación determinada.

Techila explica que el experimento de referencia estaba destinado a proporcionar a los clientes de HPC un análisis fácil de entender. Los posibles usuarios de la nube le dijeron a la compañía que FLOPS por dólar y Gbps por dólar son atractivos, pero no responden adecuadamente a sus preguntas ni abordan sus inquietudes.

«La potencia del procesador en bruto, la memoria disponible o la tasa de transferencia de datos máxima teórica no siempre se traducen directamente en el rendimiento de la aplicación», escribe Techila. «Por esta razón, el objetivo de [the] El experimento de referencia trata sobre probar el rendimiento de AWS, Google Compute Engine GCE y Azure en casos de uso de HPC del mundo real y estudiar cómo los líderes de la nube pueden responder a los requisitos que surgen de los escenarios de HPC «.

El conjunto de pruebas utilizado por Techila se desarrolló con la participación de proveedores de nube y usuarios de MATLAB, lenguaje de programación R y herramientas de ingeniería compatibles con simulación. Después de la primera ronda de pruebas, la principal conclusión fue que no todas las plataformas demuestran el mismo nivel de elasticidad.

Las pruebas se dividieron en dos categorías: implementación y rendimiento de la aplicación. La primera prueba se centró en la capacidad de una nube para responder a las necesidades informáticas. La atención se centró en problemas embarazosos paralelos, que pueden escalar para utilizar mejor una gran cantidad de núcleos. (Techila dice que está planeando pruebas similares a MPI en el futuro).

El experimento tenía como objetivo responder varias preguntas, como:

¿Qué tipos de instancias funcionan mejor? ¿Debería usar los tipos de instancia más costosos?
¿El sistema operativo en la nube afecta el rendimiento del sistema?
¿Tengo que preocuparme por la infraestructura de la nube interna?

Para su comodidad, Techila proporciona un cuadro de las especificaciones técnicas de cada nube (ver arriba). En cuanto a los tipos de instancia, para Azure, el informe tomó en consideración A8 (con Windows) y Extra Large (A4) (también con Windows). Para AWS, revisamos dos implementaciones de c3.8xlarge, una con Windows y la otra con Linux. Y para Google Compute Engine (GCE), utilizaron n1-standard-8 (con Debian 7).

Aunque los precios de la nube se han sometido a muchas revisiones, también se enumeran los precios en el momento del experimento. El precio por núcleo de CPU / hora en dólares estadounidenses varía de .060 (para AWS con Linux) a .306 para Azure A8.

Las pruebas de implementación analizaron la implementación de un entorno HPC virtual con 256 núcleos de CPU en una nube. Entre los hallazgos interesantes, Techila señaló que las distribuciones con el sistema operativo Microsoft Windows toman más tiempo que los tipos de instancia con un sistema operativo Linux. los

Otro resultado se refiere a la forma de las instancias de Windows de AWS c3.8xlarge y Azure A8. La distribución no es lineal. La relación es

No fue posible probar la implementación en Azure en este experimento porque Azure está diseñado como plataforma como servicio (PaaS) y no proporciona las interfaces de administración de Java necesarias para la versión actual de la herramienta de implementación de Techila.

Las pruebas de configuración observaron cómo se comportan las aplicaciones basadas en MATLAB en un entorno HPC virtual con 256 núcleos de CPU. Los resultados muestran que la configuración de una instancia fue más lenta en Azure que otras ofertas en la nube. Creen que esto se podría hacer para el diseño basado en Azure PaaS. AWS y GCW, sin embargo, brindan acceso directo a la infraestructura. «Debido a las limitaciones del diseño de Azure PaaS, el middleware de Techila no puede admitir la tecnología de transferencia de igual a igual (P2P) dentro del entorno HPC en Azure», señala el informe.

Otra observación clave fue que configurar la instancia de AWS fue más rápido con Linux que con Windows. Aunque los experimentadores no pueden confirmar la base de esto, creen que podría explicarse por las capacidades del sistema de archivos. Se dijo que los datos transferidos contenían alrededor de 33.000 archivos y se ha sugerido que el sistema de archivos de Windows funciona más lento cuando se maneja una gran cantidad de archivos bastante pequeños.

Las pruebas de aplicaciones de HPC examinaron tres escenarios de aplicaciones comunes:

  • calibración del modelo (usando código MATLAB)
  • simulación de cartera (implementada en R)
  • aprendizaje automático (implementado en C ++)

Techila proporciona evaluaciones detalladas de cada caso de aplicación, con gráficos que incluyen el tiempo del reloj de pared, el precio del núcleo de la CPU y el costo de la computación en la nube.

Estas son algunas de las interesantes observaciones realizadas por los experimentadores:

Para código MATLAB:

«Los resultados muestran que en este escenario particular, MATLAB parece funcionar mejor en un entorno Windows que en un entorno Linux».

Para usuarios de R:

«Una observación interesante está relacionada con el rendimiento de AWS c3.8xlarge. En comparación con Azure A8 y Azure Extra Large, podemos ver que en este caso Azure Extra Large ofrece un rendimiento muy similar al de AWS c3.8xlarge y Azure A8 ofrece rendimiento El doble en comparación con AWS c3.8xlarge y Azure Extra Large. Dado que el costo de Azure Extra Large es asequible y Azure admite la facturación detallada, esto puede convertir a Azure Extra Large en una opción de gran valor para los usuarios del lenguaje de programación R . «

«Otra observación interesante es que en este caso AWS c3.xlarge con Linux ofrece un rendimiento significativamente mejor que AWS c3.8xlarge con el sistema operativo Windows».

Para el aprendizaje automático:

“Otra observación interesante es que en este caso específico Azure A8 y AWS c3.8xlarge con sistema operativo Windows proporcionaron un rendimiento muy similar, a pesar de las diferencias observadas en otros casos de prueba. Se ha sugerido que esto puede estar relacionado con el hecho de que algunos escenarios son adecuados para Hyper Threading y pueden aprovecharlo. Por esta razón, si el objetivo es aprovechar al máximo una plataforma de hiperprocesos, es importante comprender la idoneidad de las aplicaciones para la plataforma «.

Según los resultados de la primera ronda de evaluación comparativa de la nube de Techila, la empresa confía en que la computación en la nube tendrá un papel que desempeñar en la HPC. Los experimentadores también creen que la nube tendrá un profundo efecto democratizador en HPC, escribiendo:

“La HPC ya no será ciencia, lo que requeriría una formación especial y costosas inversiones iniciales. La nube llevará HPC a nuevos escritorios y la experiencia de usuario optimizada permitirá que los nuevos usuarios la aprovechen «.

El proceso de prueba también sirvió como recordatorio de que las plataformas comerciales en la nube siguen más una ruta de hardware, ya que no utilizan la numeración de versiones. Los proveedores proponen constantemente nuevos tipos de instancias y características, y los precios también se revisan constantemente. Por este motivo, cualquier evaluación comparativa debe considerarse un trabajo en curso. Para seguir siendo relevante con estos cambios, Techila planea mantener su informe actualizado repitiendo las pruebas periódicamente.

Techila también plantea que la elasticidad no es verdaderamente ilimitada. El aprovisionamiento de recursos, incluso a escala de Amazon, etc., sigue estando limitado por fronteras físicas. Además de afectar la fase de planificación, Techila argumenta que la arquitectura física es la razón por la que HPC en la nube necesita middleware.

«La ejecución de estos experimentos en una infraestructura débilmente acoplada, como la nube, requiere un middleware, que permite el escalado horizontal y puede ocultar posibles no linealidades de la infraestructura física», afirma el informe. “Al fin y al cabo, la nube está formada por unidades muy similares a las que vemos en nuestras oficinas. Cuando llegamos al límite de la escalabilidad del disco físico, necesitamos una solución que permita escalar más allá del límite, que en este experimento fue el Middleware Techila HPC «.

No te olvides compartir en en tu Twitter y Facebook para que tus colegas lo vean

??? ? ? ???

Comparte