La compañía petrolera examina problemas relacionados con la nube HPC - Calendae | Informática, Electrónica, CMS, Ciberseguridad

La compañía petrolera examina problemas relacionados con la nube HPC

Hola de nuevo. Te habla Simón Sánchez y en esta ocasión hablaremos sobre La compañía petrolera examina problemas relacionados con la nube HPC

La compañía de energía danesa, Maersk Oil, ha sido testigo de la evolución de una serie de tendencias tecnológicas desde su fundación en 1962, particularmente en términos de su capacidad para mantenerse al día con la carrera interminable de nuevas fuentes de hidrocarburos. El equipo de investigación y tecnología de la compañía no ha sido inmune a las promesas de la computación en la nube en sus evaluaciones de opciones potenciales para alimentar simulaciones críticas.

En un experimento reciente en colaboración con la compañía de software detrás de uno de sus códigos centrales, Eclipse, que es un producto de Schlumberger y Amazon Web Services, Maersk puso la nube a prueba para sus simulaciones de yacimientos.

Si bien este experimento no produjo muchas sorpresas de rendimiento, planteó algunas preguntas importantes sobre temas secundarios críticos basados ​​en la nube para el código de procesamiento de alto rendimiento. Los modelos de licencia, el costo total y el potencial de los servicios de puerta de enlace en la nube proporcionados por empresas como Panzura hicieron que este uso de prueba de los recursos de la nube pública fuera digno de mención, incluso si el objetivo no era encontrar un alternativa de infraestructura de clase mundial.

En una conversación reciente con el jefe de infraestructura de servidores de Maersk, Thomas O’Reilly, nos dijo que lo que hizo el equipo «no fue trasladar nuestros recursos de producción de HPC a la nube». Más bien, dice, «el objetivo era iniciar una conversación sobre las posibilidades de la nube en general y utilizarla como ejemplo de lo que podría ser posible». La empresa proporcionó un diagrama para resaltar su compromiso, destacando las diferencias entre su entorno bare metal, la nube con múltiples opciones en términos de configuración. Señaló que las limitaciones de sus pruebas eran los requisitos de Schlumberger para ejecutar el código en ciertas CPU, tarjetas de red, etc., así como antes de que estuviera disponible la nueva generación de servidores basados ​​en Amazon Ivy Bridge.

O’Reilly señaló que sus colaboradores, Schlumberger, que les permitieron usar código limitado para las ejecuciones de prueba, aprendieron algunas lecciones importantes sobre el modelado de licencias. La ventaja aquí, dice O’Reilly, es que puede comprender de primera mano el posible valor de un modelo que va más allá del precio por núcleo.

Además de ser uno de los códigos de simulación de yacimientos más populares, Eclipse también es uno de los más caros, con costos de licencia de millones si se implementa en un clúster grande, dada su estructura de precios por núcleo y sus módulos. adicional requerido. En última instancia, el caso de prueba demostró el conocido concepto de que se pueden garantizar menores costos de puesta en marcha y mantenimiento para empresas más pequeñas. También ha demostrado que para estos usuarios, particularmente con las últimas actualizaciones de tercera generación con Xeon E5 y redes avanzadas, es posible extraer un rendimiento razonablemente bueno para aplicaciones como Eclipse a un modelo de costo atractivo, siempre que no funcionen las 24 horas del día. 7. El problema es que la mayoría de las principales compañías petroleras están revisando sin cesar Eclipse o su código favorito.

Teniendo en cuenta el costo, el rendimiento y las licencias, es posible que se pregunte por qué alguien se molestaría en ejecutar un código como este en un sistema grande si no admite una gran cantidad de CPU. O’Reilly dice que estas simulaciones pueden adoptar enfoques probabilísticos en los que ejecuta cada escenario para buscar tendencias o simulaciones deterministas, que se basan en el conocimiento de un ingeniero de yacimientos experimentado para dirigirlos a la mejor posición posible para obtener resultados sólidos para ejecutar una simulación más enfocada. En ambos casos, «agrupan» en conjuntos de datos muy grandes y combinan los resultados en un estilo de dividir y conquistar. Esto significa dos cosas para ejecutar estos trabajos en un entorno de nube: primero, estas pequeñas ejecuciones pueden administrarse bien en recursos basados ​​en la nube y mantenerse juntas dentro de dispositivos como sus cajas Panzura para acceso y el intercambio.

El equipo trató de mantener la configuración y el uso de la nube lo más cerca posible de la producción real. En el sitio, ejecutan el mismo código Eclipse durante todo el día con poco o ningún tiempo de inactividad. Curiosamente, solo tienen tres blades HP en su clúster conectado a Infiniband con alrededor de 40 CPU, dice O’Reilly. Esto se debe a que el código no escala mucho más allá de eso, algo que Schlumberger dice que tiene una alternativa que satisfacer, llamada Intersect, pero que no han adoptado.

Esta limitación en la escalabilidad los libera de mantener grandes clústeres dedicados al código (y hace que los aceleradores sean menos atractivos), no hay forma de evitar la necesidad de un ancho de banda ultra alto y baja latencia. Esto también suena contrario a la intuición al elegir la nube, pero como veremos en un momento, las experiencias del equipo han sido positivas en el frente del rendimiento, aunque a pequeña escala y sin las demandas reales de producción informática que requiere una casa grande. como requiere Maersk.

Todo esto también significa que los avances recientes que los proveedores de la nube como Amazon han implementado para reforzar su historial de red podrían significar más clientes, ya que códigos como este requieren conexiones Inifiniband (aunque O’Reilly ha señalado algunos detalles que a la derecha situación, 10GbE podría ser efectivo).

No te olvides compartir en tu Facebook para que tus amigos lo consulten

??? ? ? ???

Comparte