Cloudnumbers acelera la supercomputación basada en la nube - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Cloudnumbers acelera la supercomputación basada en la nube

Hola, ¿qué tal colega?. Te escribe Simón Sánchez y en esta ocasión te voy a contar sobre Cloudnumbers acelera la supercomputación basada en la nube

Configurar un clúster en una infraestructura de nube pública como Amazon Web Services requiere potencialmente mucho trabajo. Los diversos pasos implican configurar las máquinas, administrar las claves de seguridad, instalar aplicaciones, negociar la administración y más. La mayoría de los usuarios de HPC preferirían evitar este proceso que requiere mucho tiempo si es posible. Aquí es donde entra en juego la startup alemana Cloudnumbers. La empresa proporciona todo lo que el cliente necesita para poner en funcionamiento sus aplicaciones HPC en minutos. Recientemente tuve la oportunidad de hablar con Markus Schmidberger, Senior Community Manager en Cloudnumbers.com GmbH, para averiguar cómo.

La historia de los Cloudnumbers se remonta a Munich alrededor de 2010, cuando los fundadores de la empresa Erik Muttersbach, Markus Fensterer y Moritz v. Petersdorff-Campen comenzó a desarrollar su idea para un entorno de nube HPC. Se pusieron en contacto con Markus Schmidberger en octubre de 2010 después de ver su investigación sobre el tema y discutieron más a fondo la viabilidad de trasladar cargas de trabajo de HPC a la nube.

A finales de 2010, el grupo había elaborado un plan de negocio y había comenzado la implementación de un prototipo. En marzo de 2011, se fundó Cloudnumbers con inversiones de inversores ángeles. En ese momento, la empresa se trasladó de Múnich a Berlín, la capital de Alemania. Después de un período de prueba inicial de alrededor de dos meses, la empresa se lanzó oficialmente el 4 de julio de 2011, proporcionando una interfaz web para clústeres de computadoras en la nube. Hasta la fecha, la empresa tiene más de 1.300 usuarios registrados.

Si visita su sitio web, puede notar una etiqueta beta en su oferta, pero Schmidberger me asegura que esta es una versión estable completamente funcional. La designación beta tiene más que ver con la ley alemana que con la falta de producto. Según la ley alemana, deben proporcionar un nivel de seguridad que no sea práctico en esta etapa. La etiqueta beta simplemente les facilita operar en Europa, explicó Schmidberger.

Si le preocupa la seguridad, la funcionalidad principal es responsabilidad del proveedor de IaaS, pero Cloudnumbers ha agregado una capa adicional de seguridad más allá de la que usa Amazon. Esto significa que todos los datos están cifrados con cifrado de 256 bits y todas las conexiones entre el hardware local y entre máquinas utilizan cifrado SSL. A pesar de estos altos niveles de seguridad, el rendimiento no se vio afectado significativamente. Vale la pena mencionar que todos los aspectos de autenticación de usuarios, datos personales, contraseñas, información de facturación y tarjetas de crédito se encuentran en un servidor seguro en Alemania y no en la nube, en total cumplimiento con los requisitos de la Puerto seguro.

Cloudnumbers realiza toda la configuración del clúster de computadoras para sus clientes. Los usuarios potenciales pueden dirigir sus navegadores a la interfaz web, donde un proceso de cinco pasos determina la configuración de un grupo de computadoras. En ese momento, el proveedor de la nube inicia el clúster y realiza la instalación completa con todas las aplicaciones necesarias. Después de eso, el cliente puede acceder al clúster a través de cualquier interfaz web. “Todo está preinstalado, por lo que no se requiere administración. Básicamente, todo funciona desde el primer momento «, explica Schmidberger. La instalación tarda unos cinco minutos y todo el proceso de configuración tarda de 6 a 10 minutos.

Para utilizar el servicio, los clientes solo necesitan registrarse en Cloudnumbers. No necesitan una cuenta separada con el proveedor de nube pública, por lo que solo hay una factura. Cada usuario registrado recibe cinco horas gratuitas, tras las cuales el servicio costos alrededor de un dólar la hora por CPU. Esto es un poco más de lo que cobra Amazon, pero Cloudnumbers ofrece algo más, un clúster preinstalado con aplicaciones preinstaladas. Aunque Cloudnumbers usa Amazon Web Services como su plataforma principal de infraestructura como servicio, actualmente están agregando recursos de RackSpace y Eucalyptus y también están buscando activamente asociarse con proveedores de nube más pequeños.

Cloudnumbers ofrece clústeres de computadoras preinstalados en la nube con aplicaciones preinstaladas. Dependiendo de sus necesidades, los usuarios pueden elegir entre R, OpenFoam, Python, Fortan, C / C ++, así como Gromacs, BLAST, Freemat y Perl. Estos vienen con bibliotecas asociadas para computación paralela, como todas las bibliotecas MPI, etc. «Hacemos todo el trabajo duro configurando el clúster de computadoras en la nube. Está integrado en nuestra interfaz», señala Schmidberger.

Al analizar el comportamiento de sus clientes, Schmidberger encuentra que alrededor de un tercio requiere una máquina de memoria compartida con 8 núcleos y 64 GB de memoria principal y los otros dos tercios configuran grupos de computadoras con alrededor de 10-15 máquinas. Si está buscando competidores, es posible que se encuentre con Cycle Computing, que ofrece grupos muy grandes. Según la experiencia de Schmidberger, los clientes de Cloudnumbers no han solicitado máquinas tan grandes. Sus clientes tienden a ser de tamaño pequeño a mediano y, por lo tanto, son adecuados para racimos de tamaño pequeño a mediano. Se preocupan por que sus aplicaciones de alto rendimiento se ejecuten en estos clústeres, señala Schmidberger, pero no están tan interesados ​​en aprender el aspecto administrativo.

Con esto en mente, quizás no sea sorprendente que muchos de sus clientes requieran servicios de consultoría para facilitar la transición a la nube. Quieren saber cómo hacer que su código funcione en la nube y, por lo tanto, cómo obtener el mejor rendimiento. Inicialmente, Cloudnumbers solo planeaba ofrecer el producto en la nube, la consultoría no era parte del plan comercial original. Pero después de recibir numerosas solicitudes de asistencia, en octubre del año pasado se agregó un servicio de consultoría. La mayor parte del servicio implica un soporte de programación simple en términos de optimización de código, consejos y trucos. En la mayoría de los casos, la codificación real la realizan los clientes.

«Ofrecemos el paquete completo de HPC como servicio para nuestros clientes», dice Schmidberger. «Tenemos el apoyo, tenemos el asesoramiento y tenemos la interfaz y los recursos que pueden utilizar».

Para ilustrar cómo funciona el proceso de asesoría, Schmidberger cita a uno de sus clientes más conocidos, Gazprom Alemania, una sociedad de cartera para varias compañías internacionales de petróleo y gas. Gazprom tiene una gran cantidad de código financiero para el análisis de riesgos, basado en el software estadístico R. Cloudnumbers trabajó con Gazprom para paralelizar el código, con la implementación real realizada por los estadísticos de Gazprom. A continuación, Gazprom simplemente inició sesión en la cuenta de prueba de Cloudnumbers, confirmó que todo estaba en orden, luego cambió a la facturación a pedido y comenzó a trabajar en las máquinas de Cloudnumbers.

Si bien algunos clientes requieren el paquete de soporte completo, la mayoría simplemente inicia sesión y recibe una factura cada mes. Para estos, Cloudnumbers ni siquiera saben qué cargas de trabajo están ejecutando, ni necesitan saberlo.

La premisa inicial de la empresa era cerrar la brecha de la computación en la nube de alto rendimiento en Europa. Para entrar al mercado en Europa, y hasta entonces, la mayoría de sus clientes son de la UE, pero tienen varios de Estados Unidos, muchos de China e India. Los números se reducen a aproximadamente un tercio en Europa y el resto en el resto de países. La diversa base de clientes incluye universidades, industria, finanzas, empresas de biología y empresas de ingeniería mecánica.

Cuando se les preguntó si los clientes tenían dificultades para mover sus conjuntos de datos iniciales a la nube, Schmidberger respondió que el ancho de banda no era un problema ya que, nuevamente, la solución está diseñada para pequeñas y medianas empresas con conjuntos de datos promedio en el rango de GB, no en el nivel de TB. De hecho, Schmidberger estima que nunca ha tenido un cliente con más de 1-2 TB de datos. Hasta ahora, ninguno de sus clientes se ha quejado de tener problemas para cargar datos desde su computadora local a la nube.

Sobre la cuestión bastante delicada de si las cargas de trabajo de HPC son adecuadas para la nube, Schmidberger está convencido de los méritos de este enfoque. «Si bien seguiremos requiriendo supercomputadoras para análisis grandes», dice, «para análisis pequeños y medianos, HPC funciona muy bien en la nube».

Para conocer el punto de vista del cliente sobre este nuevo servicio en la nube, me comuniqué con el Dr. Karsten Knothe, gerente de proyectos de TI de Gazprom Alemania, mencionado anteriormente. Antes de pasar a Cloudnumbers, Gazprom ejecutaba sus cargas de trabajo internamente en una simple PC de escritorio con procesadores multinúcleo. Cuando comenzaron a pensar en la transición a la nube, pensaron brevemente en mudarse directamente a Amazon, pero necesitaban más funciones. «Para nosotros es importante no solo tener una máquina virtual simple, sino también un clúster configurado con el software necesario instalado», comenta el Dr. Knothe.

Antes de la transición a la nube, un cálculo tardaba más de 12 horas en ejecutarse. «Ahora hacemos un cálculo en unos 15 minutos», señala el Dr. Knothe. No solo ahorran tiempo, sino que la solución les permite realizar más análisis cambiando los parámetros de su cálculo.

A pesar de estar satisfecho con estos beneficios, el Dr. Knothe dijo que le gustaría ver algunas adiciones al producto. En particular, requería funciones de comunicación adicionales, de modo que el inicio y la detención de sesiones y la finalización de los cálculos activaran una notificación por correo electrónico.

De cara al futuro, Schmidberger se complace en anunciar que Cloudnumbers está desarrollando actualmente una solución de nube híbrida que ofrece la promesa de una «escalabilidad perfecta». Debido a preocupaciones de privacidad o seguridad, muchas empresas han elegido nubes privadas para realizar sus análisis, pero muy a menudo estas empresas tienen algunas cargas de trabajo que se beneficiarían de la nube. Un enfoque híbrido permite a estas empresas ampliar su nube privada con recursos de nube pública. Actualmente, la compañía tiene un prototipo de conexión con Eucalyptus y Amazon, con una conexión a OpenNebula también en proceso. Una versión final debería estar disponible pronto.

«Hemos creado un marco muy generoso en segundo plano, que nos da la oportunidad de conectarnos con muchos proveedores de infraestructura como servicio diferentes», dijo Schmidberger. «Entonces, si recibimos una solicitud de un cliente que tiene una nube privada ejecutándose en algo, podremos conectarnos a esta nube en dos meses».

Como empresa nueva, Cloudnumbers es proactivo en la búsqueda de comentarios de los clientes, lo que debería ser una buena noticia para Gazprom.

Recuerda compartir en tu Facebook para que tus colegas opinen

??? ? ? ???

Comparte