HPC fácil con gran facilidad: una entrevista SC10 con Bill Hilf - Calendae | Informática, Electrónica, CMS, Ciberseguridad

HPC fácil con gran facilidad: una entrevista SC10 con Bill Hilf

Hola, ¿qué tal colega?. Yo soy Simón Sánchez y en el día de hoy te voy a hablar sobre HPC fácil con gran facilidad: una entrevista SC10 con Bill Hilf

Durante SC10 en Nueva Orleans esta semana, nuestro editor pasó una hora con Bill Hilf para discutir una amplia gama de temas, incluida la oferta en la nube Azure de Microsoft, tanto en términos de algunas mejoras recientes notables como anuncio de alguna otra nube pública importante que ahora cuenta con capacidades de GPU. Esto ha llevado a debates sobre el rendimiento, los requisitos de planificación del trabajo para alojar aplicaciones de HPC y de cálculo intensivo en un entorno de nube, y temas más generales relacionados con la estrategia de la empresa mientras que la «otra» nube pública continúa evolucionando, aunque a través de un curso diferente. Traeremos más detalles de este chat más adelante en la semana …

El Grupo de Computación Técnica de Microsoft, que se enfoca en HPC, paralelismo y computación en la nube, ha evolucionado en los últimos tiempos, hecho que se debe en gran parte a la contribución de su Gerente General, Bill Hilf, y su creencia de que la única Una forma de ampliar el acceso a HPC es centrarse en hacer que el acceso a aplicaciones y recursos informáticos de alto rendimiento sea tan fácil como rellenar rectángulos en una hoja de cálculo de Excel.

La máxima abstracción de la complejidad puede parecer irreal para algunos de ustedes. La idea de que sus aplicaciones se puedan negociar y abstraer de alguna manera a un nivel tan alto que requieran poco más que la entrada de datos parece descabellada, pero claramente, para Microsoft, el esfuerzo por hacer esto una realidad simplemente no es una prioridad, por lo que es mejor involucrar a los usuarios de HPC con ese medio esquivo que falta: es la clave para su supervivencia en el espacio de HPC.

Desde el punto de vista de Hilf, los usuarios técnicos de computadoras formarán la columna vertebral de Azure, de ahí el enfoque en las aplicaciones HPC en cualquier número de anuncios de la compañía relacionados con la nube.

Esto incluye, por ejemplo, la noticia de hoy de que BLAST se trajo a la nube y se ofrecía «gratis» (lo cual es bueno ya que es realmente gratis al principio) a los usuarios con cuentas de Azure. Llegaremos a ese tema en breve, pero por ahora volvamos a cómo Bill Hilf quiere destruir HPC … o al menos el peso de ese acrónimo … en otras palabras, haciéndolo sinónimo de informática en general.

“Va mucho más allá de la creación de sistemas operativos; se trata de crear herramientas para el usuario final; se trata de hacer que todo sea fluido como lo hicimos recientemente con BLAST. Lo portamos a Azure, lo cual fue bueno, pero todavía había mucho que era realmente difícil. Por ejemplo, ¿cómo se implementa todo esto en Azure? Entonces, ¿qué es Azure exactamente? Y luego cómo monitorear el progreso cuando son miles y miles de núcleos y todo eso podría estar en cualquier lugar, ya que es un sistema operativo global. De hecho, su trabajo se puede realizar en cualquier lugar; en Shnghai o en cualquier otro lugar, entonces, ¿cómo localizarlo u obtener una respuesta en miles de máquinas? «

Facilitar los viejos modelos

Como señaló Bill Hilf, hace un par de años quedó claro que los esfuerzos de Microsoft para convertirse en partes importantes en el espacio de servidores HPC no estaban funcionando como se esperaba, por lo que se necesitaba un cambio de ideología: ese cambio realmente trajo a Microsoft de regreso. justo donde comenzó en primer lugar hace mucho tiempo, al eliminar la complejidad y luego tomar una programación enormemente complicada y esconderla bajo un barniz transparente de usabilidad.

Esa pátina ha sido tan perfecta que con demasiada frecuencia podemos olvidar por completo lo que hay detrás de esa hoja de cálculo de Excel o, para el caso, del documento de Word en el que se creó el primer borrador de este artículo. Sin embargo, esa es la idea, y va más allá de eliminar la complejidad y agregar la interfaz de usuario intuitiva … Al tomar esos pasos para entregar aplicaciones complejas a las masas a través de estas interfaces de usuario fluidas, y enfocándose principalmente en la facilidad de uso, lo que consideramos aplicaciones poderosas (el «nosotros» aquí es gratuito y general) ya no se perciben como poderosas necesariamente porque se han vuelto omnipresentes.

Entonces, más específicamente, Hilf está diciendo, «queremos que eventualmente HPC, ese acrónimo, no tenga sentido» en el sentido de que los usuarios, incluso los usuarios altamente técnicos, ya no considerarán sus aplicaciones en el contexto de alto rendimiento o para propósitos. general, o nada. Todo se convertirá simplemente en cálculo. Simple y llanamente.

Esta puede ser una idea difícil de comprender, especialmente en una conferencia dedicada a ese acrónimo, pero de alguna manera, el predominio de la complejidad – de hecho, la celebración de la misma aquí en Nueva Orleans esta semana – es en realidad exactamente lo que Microsoft quiere deshacerse de. Quieren abrir sus puertas utilizando el mismo modelo probado de ofrecer productos tradicionales, incluso de alta gama, a cualquier persona con suficiente experiencia informática como para hacer clic en unos pocos botones. Y ya sabes, incluso si algunos parecen distantes, hay algo que decir sobre el viejo truco de simplificación de Microsoft.

Para dar este contexto adicional, nuestra conversación en realidad comenzó con una pregunta leve sobre lo que pensaba de su mayor competidor en la nube pública, Amazon Web Services, que ofrece su nuevo tipo de instancia GPU Cluster; no comenzó con el conversación sobre la facilidad como un elemento central de las ambiciones y la estrategia de informática técnica renovadas de Microsoft, pero todo lo anterior debía ir precedido.

Mientras yo estaba dirigiendo a un «sí, pero cuando recibes una oferta similar» al principio, Hilf tomó otra ruta y sugirió que, si bien el anuncio de la GPU de Amazon era «técnica y académicamente interesante, teóricamente que es «no mucho más, ya que esencialmente proporciona a esos relativamente pocos incentivos y habilidades de programación. Y eso trae de vuelta su punto una vez más: ¿De qué sirve todo el nuevo acceso proporcionado por la nube a una infraestructura aparentemente infinita si solo unos pocos pueden usarlo?

Este punto está bien abordado. La mayoría de los usuarios de HPC tienen un conocimiento profundo de un idioma, pero los investigadores y usuarios, por otro lado, quieren centrarse en su misión de investigación o desarrollo y minimizar el tiempo que lleva convertirse en administradores de sistemas si es posible . Con algo como la introducción de capacidades de procesamiento de GPU en la nube pública, aunque algunos de estos usuarios potenciales sabían muy bien que podrían lograr ganancias de rendimiento significativas a través de la aceleración de GPU, no existe una capa de abstracción para enmascarar el fea barracuda CUDA Detrás.

En términos más generales, Bill Hilf declaró lo siguiente sobre las GPU en la nube (o de otro modo, para el caso) y lo relacionó con el «panorama general» de Microsoft de cómo hacer una entrada seria en HPC a través del viejo truco de «integración». ..

“Si nos fijamos en el Top500, una de las cosas más sorprendentes es que la mayoría de ellos entre los diez primeros utilizan GPU; ¿Ese ideal general de paralelismo masivo a través de 500 núcleos en una GPU versus cuatro núcleos en la CPU? – Bueno, la gente realmente está empezando a entenderlo y cómo explotarlo. Entonces, para este grupo de HPC, todos se preguntan, «¿cómo aprovechamos el hardware y, además, cómo lo hacemos fácil?»

Tener GPU en una nube es técnicamente interesante, pero no rompe ninguna barrera porque sigue siendo complejo. Ofrecerlos no lo hace más accesible; todavía tiene que escribir un programa CUDA de bajo nivel en un lenguaje orientado al hardware muy específico para una GPU específica del proveedor. Todo es realmente complicado técnicamente y, por lo tanto, sigue siendo solo una cosa de nicho; no es como Visual Basic o Word, por ejemplo, donde la complejidad es abstracta; todo esto es técnicamente interesante, pero no es fácil y fácil es el ingrediente que falta como lo vemos. «

Integración de las aplicaciones de HPC

Si bien la conversación no se basó específicamente en la GPU, ese fue un excelente escenario para el tema de discusión, todo centrado en la facilidad de uso. Hilf ha puesto de manifiesto la conversión de BLAST a Azure como un ejemplo de este emparejamiento de aplicaciones de HPC «integradas» y proporcionando una mayor facilidad como una en una próxima serie de anuncios relacionados con Easy HPC.

Lo que veremos de Microsoft el próximo año está representado en su anuncio sobre los estudios de caso de BLAST. Hilf dice que este es el primero de muchos ejemplos próximos que muestran que la nube puede demostrar lo que de otro modo se hubiera considerado imposible. La compañía se asoció con un hospital importante que quería aprovechar BLAST realizando lo que puede ser una de las búsquedas basadas en BLAST más completas hasta la fecha. Querían buscar en toda la base de datos de proteínas, que son 10 millones de secuencias, que luego terminan siendo más de cien mil millones de comparaciones. Este es un proyecto bastante desconcertante en términos de alcance si confía en NCBI y sus recursos limitados, por ejemplo. De hecho, es un proyecto asombroso sin importar lo que estés usando.

Azure manejó esta solicitud, sin embargo, y Hilf dice que sin ningún tipo de precio especial, el costo fue de alrededor de $ 18,000 para esta gran ejecución que habría requerido millones de inversiones en hardware y personal. Ah, y con el tiempo de configuración incluido (un día) hicieron todo el trabajo en seis días manteniendo 4000 núcleos ocupados todo el día.

Hilf quiere que estos estudios de caso muestren cómo Microsoft se está volviendo a dedicar a HPC; y así labrar un trozo de mercado que podría haber parecido un poco más lejano ni siquiera hace un año.

Dé rienda suelta a los programadores

Aparte de un mayor énfasis en la facilidad de uso y la abstracción de la complejidad, hemos estado hablando durante bastante tiempo sobre el papel de proporcionar automatización y políticas para gobernar cómo se usa la nube y con qué parámetros pueden trabajar los usuarios. Esta es un área en la que Azure podría tener una ventaja sobre Amazon.

Una de las claves del éxito de Microsoft para las aplicaciones HPC en la nube (y no se puede discutir que son las cosas vergonzosas y paralelas de las que estamos hablando aquí en su mayor parte) depende de su capacidad adicional para tener cierto grado de automatización para permitir el cambio de tamaño de los recursos para necesidades repentinas.

Lo extraño de este planificador de trabajos de Azure es que es push-buttton, no completamente automatizado para escalar en función de cargas de trabajo anticipadas o picos repentinos de necesidad. Hilf parecía sugerir que, si bien una mayor automatización sería en última instancia una prioridad, por ahora, durante esta fase de prueba de concepto para muchos usuarios de computación técnica en su nube, los gerentes de TI quieren un control total sobre cómo avanza el experimento en la nube.

Por ejemplo, usó un relato traumático de su vida personal, y señaló que mientras estuvo en Asia recientemente, usó una serie de funciones en su teléfono sin darse cuenta de cómo estaban aumentando los cargos y regresó a los Estados Unidos con una factura de servicios públicos. $ 700. Él ve lo fácil que puede suceder esto y sabe que si un experimento en la nube se sale un poco de control y nadie ve el alcance total de cómo se asignan y usan los recursos, podría significar la muerte de la fase de prueba de la nube. pendiente para ese usuario, y probablemente la muerte del trabajo para el administrador de sistemas que también dejó esto bajo su radar.

El tema de los programadores de trabajos en la nube no es atractivo, pero es cada vez más crítico para los usuarios y para Microsoft, que una vez más quiere agregar tantas funciones de simplificación como sea posible, incluida la capacidad de ver y administrar recursos.

Podríamos participar en el segmento de entrevistas de los planificadores de trabajos para ejecutar una publicación más enfocada a medida que el alboroto de SC disminuya, y tuvimos tiempo de hablar con una de las estrellas del programa de planificación de HPC de mañana, Platform Computing.

Más de esta larga entrevista del fin de semana….

No te olvides compartir en tu Facebook para que tus colegas lo flipen

??? ? ? ???

Comparte