La red en la nube. Una entrevista con el director senior de Mellanox, Gilad Shainer - Calendae | Informática, Electrónica, CMS, Ciberseguridad

La red en la nube. Una entrevista con el director senior de Mellanox, Gilad Shainer

Hola, ¿qué tal colega?. Yo soy Simón Sánchez y en esta ocasión te voy a contar sobre La red en la nube. Una entrevista con el director senior de Mellanox, Gilad Shainer

Dos anuncios recientes de Amazonas y de Mellanox me reveló que un componente importante de la nube parecía haberse pasado por alto en la discusión pública hasta el momento: la red. Y por Ed Walker Punto de referencia paralelo NAS Se me ocurrió que en 2008 demostró que las latencias de rendimiento de los mensajes y el ancho de banda eran un orden de magnitud más bajo entre los nodos de computación y computación de EC2 en un clúster NCSA con InfiniBand. Por lo tanto, sus conclusiones fueron que es posible ofrecer mejoras sustanciales a la comunidad de HPC Cloud si se puede diseñar una solución de aprovisionamiento de red de alto rendimiento para este problema. A la luz de su discurso de invitación en ISC Cloud’10 en octubre de este año en Frankfurt, decidí hacerle algunas preguntas a Gilad Shainer de Mellanox, para obtener una actualización sobre este tema de redes en la nube.

Wolfgang: ¿Es HPC en la nube una opción viable para aplicaciones reales en la industria y la investigación?

Gilad: Primero deberíamos preguntarnos si la HPC en la nube es viable. Para las nubes privadas, la respuesta es sí, y este no es un concepto nuevo. Muchos usuarios ya utilizan muchos sistemas HPC, que es de lo que se tratan las nubes privadas. Hoy en día, las nubes públicas no son una buena opción para las aplicaciones de HPC: altas latencias, gastos generales, baja eficiencia y factores de utilización. Esto no significa que las nubes públicas futuras no puedan cumplir con los requisitos de HPC, pero deben diseñarse teniendo en cuenta un alto rendimiento.

Las nubes de alto rendimiento ciertamente también pueden servir para aplicaciones de bajo rendimiento, pero viceversa, en realidad no funciona. En cuanto a esta demanda, con capacidades de desempeño que satisfacen las necesidades de las aplicaciones más exigentes, los clústeres de HPC son ideales para aplicaciones como investigación climática, modelado molecular, simulaciones físicas, criptoanálisis, modelado geofísico, diseño automotriz y aeroespacial, modelado financiero, data minería y más. Llevar la misma arquitectura a la nube es definitivamente factible, y HPC Clouds puede ser una solución muy rentable para los investigadores que no tienen los fondos o la experiencia en TI para obtener y mantener sus propios sistemas. Al proporcionar acceso bajo demanda a clústeres de alto rendimiento a un gran grupo de investigadores académicos y comerciales, las nubes HPC pueden ser una herramienta importante para acelerar la investigación global.

Wolfgang: ¿Qué importancia tienen las redes dentro de las nubes HPC?

Gilad: ¿Qué importancia tiene la conexión en red para los sistemas HPC? Muy importante. Hay 3 elementos que deben equilibrarse: CPU / GPU, memoria e interconexión. La computación en la nube de alto rendimiento no es diferente, se basa en la eficiencia y requiere una manera fácil de implementar y acceder a todo, desde un sistema único hasta recursos de TI a gran escala, bajo demanda, en tiempo real y a un costo asequible. Utilizando soluciones de red que proporcionan un rendimiento de 40 Gb / s, 1 microsegundo servidor a servidor o latencia de almacenamiento, descarga y capacidades sofisticadas de virtualización de E / S, los proveedores de la nube pueden aprovisionar el sistema, cargas de trabajo y dar soporte a más solicitudes de usuarios de forma más rápida y eficiente, al mismo tiempo que brinda el mejor ROI para los proveedores y usuarios de la nube.

Estos elementos, entre otras cosas, también son importantes para las nubes que no son HPC. Aún desea poder alojar tantos usuarios como sea posible, por lo que las migraciones y los arreglos rápidos son fundamentales para cualquier nube. Es por eso que elegir la red correcta es fundamental para el éxito de las nubes de próxima generación. En nuestro caso, la conectividad InfiniBand hace que la computación de alto rendimiento y el almacenamiento de alta capacidad estén inmediatamente disponibles para cualquier persona, y permite que las aplicaciones de HPC logren mejoras de rendimiento significativas, lo que permite a los investigadores lograr resultados más rápidos.

Wolfgang: Acabo de leer el artículo sobre la solución InfiniBand de Mellanox para la Universidad de Cambridge. ¿Qué importancia tuvo utilizar InfiniBand allí?

Gilad: La incorporación de Mellanox 40Gb / s InfiniBand, con su eficiencia de GPU y capacidad de descarga, como la columna vertebral de agrupación para el Centro de Soluciones de la Universidad de Cambridge, fue esencial para sus requisitos de entrega en la nube. Su nuevo clúster de HPC Cloud proporciona acceso bajo demanda para dar soporte a más de 400 usuarios internos distribuidos en 70 grupos de investigación que van desde ciencias tradicionales como química, física y biología, hasta áreas de rápido crecimiento para la investigación basada en HPC como la biomedicina. , clínica-medicina y ciencias sociales.

Wolfgang: ¿Cuál es la estrategia de computación en la nube de Mellanox en general?

Gilad: Las soluciones de interconexión de almacenamiento y servidor de Mellanox se han diseñado para proporcionar las capacidades de red necesarias para descargar el ancho de banda, la latencia y la virtualización para la infraestructura en la nube. Los productos de conectividad de extremo a extremo InfiniBand de la compañía se están convirtiendo rápidamente en los productos de redes preferidos para las infraestructuras de computación en la nube. El crecimiento se debe a los beneficios inherentes que ofrece InfiniBand para optimizar el rendimiento de las tecnologías comúnmente utilizadas en la nube, como la virtualización de servidores, los servidores de CPU de varios núcleos y el almacenamiento de datos de alto rendimiento. Estos beneficios abarcan industrias y aplicaciones, nubes públicas y privadas.

Wolfgang: ¿Cómo ve el papel de las nubes en el futuro de HPC?

Gilad: Con capacidades de rendimiento que satisfacen las necesidades de las aplicaciones más exigentes, las nubes pueden ser ideales para una amplia gama de servicios de investigación y aplicaciones de mercado. Además, si observa los sistemas HPC de próxima generación, esos sistemas crearán un flujo de datos y necesitará la capacidad de alojar datos, analizarlos y poder compartirlos con muchos investigadores y científicos de todo el mundo. mundo. Las nubes HPC serán la solución más adecuada para esto. Por cierto, también estoy involucrado con el Consejo Asesor de HPC y allí también exploramos los patrones de uso de HPC en la computación en la nube y la dirección futura. Puedes ver las publicaciones que hemos realizado http://www.hpcadvisorycouncil.com/subgroups_hpc_cloud.php.

Wolfgang: ¿Y cuál es el tema principal de su discurso en el ISC Cloud’10 a finales de octubre en Frankfurt?

Gilad: Las nubes pueden verse como un superconjunto de centros de datos y sistemas HPC, o quizás como un nuevo entorno con sus propios requisitos. El tema principal de mi presentación girará en torno a los últimos desarrollos en el mundo de las redes (tanto Ethernet como InfiniBand) y cómo estos desarrollos están ayudando a que las nubes sean más eficientes y accesibles, y destacaré varios ejemplos de casos de uso y resultados de simulaciones.

El Dr. Wolfgang Gentzsch es el presidente general de ISC Cloud’10, que tendrá lugar del 28 al 29 de octubre en Frankfurt, Alemania. ISC Cloud’10 se centrará en soluciones prácticas que reduzcan la brecha entre la investigación y la industria en la computación en nube. Se puede encontrar información sobre el evento en el sitio web del evento ISC Cloud. HPC in the Cloud es un orgulloso socio de medios de ISC Cloud’10.

Deberías compartir en en tu Twitter y Facebook para que tus colegas lo lean

??? ? ? ???

Comparte