Los jugadores de HPC adoptan Hadoop - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Los jugadores de HPC adoptan Hadoop

Hola y mil gracias por leerme. En el teclado Simón Sánchez y en esta ocasión vamos a hablar sobre Los jugadores de HPC adoptan Hadoop

Los proveedores del universo HPC se están subiendo al tren de Hadoop. Esta semana SGI anunció que uniría el software CDH de Cloudera (distribución de Cloudera que incluye Apache Hadoop) con sus máquinas de clúster. Esto no es sorprendente, considerando el papel de Hadoop como el marco de código abierto líder para el análisis intensivo de datos en plataformas distribuidas y la posición de Cloudera como el principal distribuidor y patrocinador de Hadoop.

Según el comunicado de prensa, la asociación SGI-Cloudera «permitirá a las dos empresas construir, vender e implementar conjuntamente soluciones comerciales integradas de alto rendimiento basadas en Apache Hadoop». Pero como Derrick Harris señaló en GigaOM, este no es necesariamente un juego HPC en el sentido convencional. Si bien Hadoop se puede utilizar para cargas de trabajo técnicas como genómica y sismología, la aplicación más típica es para motores de búsqueda, análisis de redes sociales y optimización de anuncios.

Según Harris, la integración de Cloudera con el equipo SGI parece estar más dirigida a este último. En el sitio web de SGI, los clústeres de Hadoop preconfigurados están disponibles en dos tipos de clústeres: servidor en rack y servidor CloudRack. Ambos son del lado de la casa que no es HPC. Esto no significa que dichos sistemas no ejecutarán cargas de trabajo de procesamiento técnico, sin embargo, dada la naturaleza algo diferente de estas aplicaciones de uso intensivo de datos (es decir, el contenedor superior de la CPU, o incluso InfiniBand, no son necesariamente necesarios para I / Aplicación Hadoop O -bound).

Harris también señala que Microsoft anunció recientemente su integración de Hadoop con Windows Server y Azure. Este es un movimiento aún más matizado, considerando que Microsoft ya tiene una alternativa de Hadoop para HPC llamada LINQ to HPC (formalmente Dryad). Este último también se proporciona con HPC Server 2008 R2 y eventualmente también será compatible con Azure.

La implicación es que Microsoft posicionará su tecnología LINQ para aplicaciones similares a HPC y su integración estándar de Hadoop para casos de uso que no son HPC. Hay otras alternativas de Hadoop diseñadas específicamente para usuarios obsesionados con el rendimiento. En esta categoría se encuentran plataformas como la oferta de Supercomputadora de análisis de datos (DAS) de LexisNexis, así como versiones no estándar de Hadoop que están optimizadas para el rendimiento.

Desafortunadamente, este es el último respaldo de una tecnología exitosa: imitaciones y derivados. Sin embargo, si tiene éxito, al menos algunos de estos marcos orientados al rendimiento para análisis intensivos de datos pueden encontrar un hogar feliz en HPC.

Recuerda compartir en en tu Twitter y Facebook para que tus colegas opinen

??? ? ? ???

Comparte