Cray lleva a la supercomputadora XMT a un primer plano

Hola, ¿qué tal colega?. Yo soy Simón Sánchez y hoy te voy a contar sobre Cray lleva a la supercomputadora XMT a un primer plano

Cuando se anunció en 2006, la supercomputadora Cray XMT atrajo poca atención. La máquina se diseñó originalmente para extraer y analizar datos de alto nivel para un grupo particular de clientes gubernamentales en la comunidad de inteligencia. Si bien los federales han estado brindando apoyo para el XMT durante los últimos cinco años, Cray ahora está buscando mover estas máquinas a la esfera comercial. Y con la próxima generación de XMT-2 en el horizonte, la compañía se está preparando para acelerar esta estrategia en 2011.

Desde la perspectiva de la empresa, XMT es sinónimo de aplicaciones intensivas en datos, como las líneas de productos Cray XT y XE para la gran ciencia. La máquina está diseñada para manejar conjuntos de datos realmente enormes, estamos hablando de terabytes, ya sean de naturaleza técnica o no técnica. Pero XMT en realidad está diseñado para un gusto específico de aplicaciones intensivas en datos: aquellas que tienen que manejar datos estructurados irregularmente a gran escala, lo que a veces se conoce como problemas de análisis de gráficos.

Estos se pueden dividir en dos categorías generales. El primero es el problema de encontrar la aguja en un pajar, que implica encontrar un dato particular dentro de un enorme conjunto de datos. El otro es el problema de conectar puntos, donde desea establecer relaciones complejas en una nube de datos aparentemente no relacionados.

El modelo computacional más natural para este tipo de aplicaciones es aquel en el que miles de subprocesos computacionales ocupan un gran espacio de memoria global. Para maximizar aún más el rendimiento, se requiere una sincronización de subprocesos de grano fino. En general, este modelo no es compatible con las plataformas informáticas de clúster más mundanas, como puede encontrar con un dispositivo de base de datos tradicional de Oracle o Netezza. A menos que la aplicación pueda dividirse de forma natural entre los nodos del clúster y los patrones de acceso a los datos no sean lo suficientemente fluidos, el rendimiento se verá afectado.

La noticia alentadora para los defensores de XMT es que las aplicaciones de análisis a gran escala que utilizan datos no estructurados se han generalizado mucho más en los últimos años. Áreas como inteligencia / vigilancia, plegamiento de proteínas, genómica, detección de fraude crediticio, investigación semántica, análisis de redes sociales, geometría computacional, reconocimiento de escenas y distribución de energía, todas dependen de grandes colecciones de datos no estructurados. Como tal, el XMT es adecuado para muchas aplicaciones analíticas de alto nivel en inteligencia empresarial, investigación científica e investigación web.

No es una coincidencia que empresas como Google, Facebook y Amazon que utilizan la minería de datos estén atrayendo el mismo escrutinio de los defensores de las libertades civiles que alguna vez estuvo reservado para las agencias gubernamentales de tres letras. Ahora ambos ejecutan esencialmente las mismas aplicaciones. Tanto las empresas como los gobiernos quieren rastrear enormes bases de datos para extraer información en tiempo real, y esto no es más evidente que con el auge de la Web Semántica.

De hecho, el análisis de redes sociales es una de las grandes áreas de aplicación a las que Cray se dirige para su producto XMT, según Shoaib Mufti, director de gestión del conocimiento de Cray. Mufti dice que los motores de búsqueda están avanzando hacia análisis más complejos, especialmente en el área del procesamiento del lenguaje natural. El objetivo aquí es interpretar la entrada de búsqueda con mayor precisión para proporcionar resultados más precisos. Todo este procesamiento debe realizarse de forma interactiva, lo que ejerce presión sobre el hardware convencional.

Por ejemplo, en lugar de proporcionar 1000 páginas de resultados de búsqueda para que las revise, un motor de búsqueda semántica solo proporcionará un puñado de los sitios más relevantes, o tal vez incluso solo uno. Esta no es la tecnología dominante en la actualidad, pero con la expansión de las plataformas móviles (cuya interfaz natural es solo una entrada de voz), habrá una gran demanda de búsqueda semántica. «Vemos un gran potencial para que XMT brinde valor allí», dice Mufti.

También existe una gran demanda de problemas gráficos en el sector financiero, como el área de detección de fraudes antes mencionada. En este caso, los bancos tienen que buscar entre miles o incluso millones de transacciones de crédito en busca de evidencia de actividad falsa. El volumen de transacciones y la necesidad de una respuesta en tiempo real están empujando esta aplicación más allá de los límites de los sistemas informáticos convencionales.

El XMT convencional no lo es. La supercomputadora tiene algunas características distintivas que no se encuentran en otras plataformas altamente paralelas. La más obvia es que se casa con una CPU multiproceso extrema, el procesador Threadstorm personalizado de Cray, con una arquitectura de memoria compartida de alta capacidad. Muchos sistemas de memoria compartida, como Altix UV de SGI, se basan en la tecnología x86 convencional. Aunque una máquina UV puede ofrecer hasta 64 subprocesos por nodo (con cuatro CPU de 8 núcleos), un chip Threadstorm admite 128 subprocesos. Mejor aún, cada Threadstorm solo consume 30 vatios, o aproximadamente un tercio de la de una CPU x86 de gama alta. Además, XMT admite la sincronización detallada en el hardware para ocultar las latencias entre subprocesos.

La arquitectura subyacente se basa en la plataforma XT convencional de Cray, hasta la interconexión SeaStar2 y el socket AMD que Cray usa para los procesadores Threadstorm. De esta manera, la empresa pudo reutilizar los componentes existentes, al tiempo que proporcionó una plataforma altamente escalable para la tecnología Threadstorm. Hoy en día, el sistema supera los 8.024 procesadores, que pueden agregar más de un millón de subprocesos, y 64 terabytes de memoria compartida, la mayor capacidad de cualquier máquina de este tipo, dice Mufti.

Según él, una supercomputadora XMT puede funcionar de 10 a 100 veces mejor que las arquitecturas convencionales en problemas que presentan patrones de acceso a datos irregulares. Sin embargo, hacer comparaciones es algo problemático. Todavía no existe un parámetro de referencia ampliamente aceptado para los problemas de gráficos. El nuevo Organización del Gráfico 500 quiere llenar ese vacío, pero ese hito aún está evolucionando. Para los primeros resultados de Graph 500 anunciados en SC10 en noviembre pasado, una máquina XMT de 128 nodos ocupó el tercer lugar, solo superada por dos sistemas mucho más grandes: un IBM Blue Gene / P (que usa 8.192 nodos) y un Cray XT4 (que usa 544 nodos).

A pesar de su solidez computacional y su historia de cinco años, el negocio de XMT todavía es un trabajo en progreso. El equipo de Gestión del conocimiento de Mufti, que supervisa el producto XMT, está a la altura de la división de ingeniería personalizada de Cray, un grupo que se centra en el desarrollo de nuevas oportunidades comerciales. Cray no analiza la cantidad de ingresos generados por las ventas de XMT, y sería difícil encontrar una cifra en dólares asociada con cualquier agencia gubernamental actual o distribución de laboratorio de investigación. Sin embargo, la empresa debe aumentar las ventas suficientes para garantizar un desarrollo continuo.

A finales de este año, Cray tiene la intención de lanzar XMT-2, la primera actualización del sistema en cinco años. Dado que abastece a un mercado más grande, Cray también busca hacer que la máquina sea más fácil de usar. Gran parte de esto sucederá a través de asociaciones con empresas de software como Cambridge Semantics y Clark & ​​Parsia, LLC, que están desarrollando herramientas semánticas y de middleware para análisis a gran escala.

Para el sistema XMT-2 en sí, Cray se centra en la escalabilidad y el TCO. Si bien no está lista para dar a conocer los detalles, la próxima generación ha crecido «significativamente» según Mufti. Esto se hizo para satisfacer el creciente tamaño del problema, especialmente en lo que respecta a los requisitos de memoria de la base de datos. Si bien esto aún no se ha confirmado, es lógico suponer que el nuevo sistema pasará a la última interconexión Gemini utilizada en las líneas XT y XE para aprovechar el rendimiento mejorado. Los procesadores Threadstorm de próxima generación también se beneficiarán de geometrías de transistores más pequeñas, lo que permitirá un mejor rendimiento por vatio, más subprocesos o un poco de ambos. En general, dice Mufti, XMT-2 será más denso y con mayor eficiencia energética, y la tecnología subyacente «se llevará al siguiente nivel».

Recuerda compartir en en tu Twitter y Facebook para que tus amigos lo sepan

??? ? ? ???

Comparte