El HPC Center de Sudáfrica domestica su 'zoológico de arquitecturas' - Calendae | Informática, Electrónica, CMS, Ciberseguridad

El HPC Center de Sudáfrica domestica su ‘zoológico de arquitecturas’

Hola de nuevo. En el teclado Simón Sánchez y en esta ocasión hablaremos sobre El HPC Center de Sudáfrica domestica su ‘zoológico de arquitecturas’

El siglo XXI ha visto surgir una gran cantidad de centros de supercomputación en todo el mundo. Si bien Estados Unidos, Europa Occidental y Japón siguen siendo los territorios dominantes de HPC, países en rápido desarrollo como China, India, Brasil, Rusia y Arabia Saudita están mejorando rápidamente sus infraestructuras de HPC. De todas las regiones, sin embargo, África sigue siendo principalmente un desierto HPC. Pero en Ciudad del Cabo, Sudáfrica, el niño de tres años Centro de informática de alto rendimiento (CHPC) tiene como objetivo cambiar eso.

Financiado por el Departamento de Ciencia y Tecnología de Sudáfrica (DST), el CHPC tiene la tarea de proporcionar recursos computacionales de alta gama para organizaciones de investigación y empresas en Sudáfrica y en toda África. Desde que abrió sus puertas en junio de 2007, CHPC, bajo la dirección del Dr. Happy Sithole, ha estado ocupado construyendo su infraestructura de HPC y reuniendo usuarios. Debido a que es un centro regional de HPC, que cubre esencialmente todo un continente, sus recursos deben servir a una amplia gama de clientes y aplicaciones.

El centro atiende principalmente a investigadores universitarios sudafricanos, algunos de los cuales vienen de otras naciones africanas. Los dominios de aplicación típicos incluyen astronomía, ciencia de materiales, oceanografía, modelado climático, bioinformática y dinámica de fluidos computacional. Un puñado de empresas recién están descubriendo el centro. La primera película animada en 3D desarrollada en Sudáfrica, «Lion of Judah», fue realizada en el CHPC por el estudio Character Matters. Además, una empresa de tecnología minera local utiliza la infraestructura de HPC del centro y una empresa petroquímica de Sudáfrica está considerando ejecutar y desarrollar aplicaciones en una o más máquinas CHPC.

En la actualidad, otras naciones africanas que deseen utilizar los centros, los recursos de HPC deben llegar a Sudáfrica para acceder. «Queremos expandirnos y permitir que los usuarios inicien sesión desde otros países africanos», dice el Dr. Sithole. El problema es la conectividad, explica. Como ocurre con otras infraestructuras en gran parte de África, las redes de datos modernas recién están comenzando a construirse. Recientemente se instaló un cable submarino para conectar los países de África Oriental con Europa y se está estudiando un cable similar para África Occidental. Una vez que estas redes estén en su lugar, el Dr. Sithole espera que los usuarios fuera de Sudáfrica comiencen a solicitar recursos de CHPC.

Hoy, el centro alberga cuatro sistemas HPC principales. La característica más notable de las máquinas es que no hay dos iguales. La colección actual incluye un clúster IBM e1350 basado en AMD Opteron (con ocho nodos equipados con tarjetas aceleradoras ClearSpeed), un bastidor IBM Blue Gene / P, un IBM P690 más antiguo basado en Power (junto con una máquina Sun híbrida que consta de un servidor SPARC64 VII M9000, integrado con un clúster blade Sun Constellation con tecnología de procesadores Intel Xeon. Los sistemas operativos van desde AIX en IBM P690 hasta Solaris en M9000, con varias versiones de Linux en las otras máquinas. Parte del clúster e1350 se ha configurado para arrancar Linux o Windows HPC Server 2008. El Dr. Sithole llamó a esta mezcla algo ecléctica de hardware un «zoológico de la arquitectura».

Tanto el Blue Gene / P como el P960 fueron donados por IBM, mientras que los demás fueron comprados por CHPC como financiación permitida. Dado que el horario de verano de Sudáfrica no tiene los bolsillos profundos de una agencia como la Fundación Nacional de Ciencias de EE. UU. (NSF), una de las principales consideraciones en CHPC es maximizar la potencia informática por el dinero gastado. También existe el requisito adicional de proporcionar la combinación adecuada de arquitecturas para diferentes usuarios.

Por ejemplo, la máquina más nueva, el sistema Sun implementado en 2009, tiene la ventaja de encapsular tanto la capacidad SMP (el servidor M9000) como la arquitectura informática distribuida más tradicional (el clúster Sun Constellation). En general, los cuatro sistemas CHPC suman menos de 50 teraflops de rendimiento máximo. El sistema Sun M9000 / Constellation representa la mayor parte de esto, con 31 teraflops. Esa máquina también ostenta el título de la supercomputadora más potente del continente africano y ha logrado entrar en la última lista TOP500 en el número 311.

Pero la diversidad de sistemas HPC en CHPC también presenta un gran desafío. Con cientos de usuarios que acceden a los sistemas, ¿cómo gestiona el centro los sistemas de información para maximizar la utilización general? Aquí es donde entra en juego la tecnología Moab de Adaptive Computing. A partir de 2010, CHPC implementó Moab, en la forma de Adaptive HPC Suite de la empresa, para ayudar a que las supercomputadoras del centro se encuentren bajo un esquema de gestión unificado.

En lugar de tener que aprovisionar y programar trabajos manualmente una máquina a la vez, Moab se sienta en la parte superior del administrador de carga de trabajo en cada sistema y los organiza para que funcionen como una sola entidad. Lo hace actuando como un metaprogramador que encapsula el aprovisionamiento del sistema operativo y el envío de trabajos. Los mismos administradores de carga de trabajo (TORQUE, SLURM, Tivoli LoadLeveler, Sun Grid Engine o Platform LSF) están aprovisionando y programando los trabajos. Pero Moab está moviendo los hilos, haciendo malabares con las prioridades de trabajo y los acuerdos de nivel de servicio para asegurarse de que se atiendan las aplicaciones de los usuarios.

Según Peter ffoulkes, vicepresidente de marketing de Adaptive Computing, Moab no solo cultiva empleos. Tiene inteligencia incorporada para mirar hacia adelante y proyectar solicitudes futuras con el fin de optimizar la ejecución del trabajo y el aprovisionamiento a lo largo del día. La idea es mejorar tanto el rendimiento como la productividad para que pueda realizar más trabajo en un período de tiempo determinado. «Quieren que su reserva de recursos sea lo más flexible posible», explica ffoulkes. «Es lo mismo en todo el mundo de la informática en estos días».

Gracias a Moab, el tiempo de inicio de sesión ha mejorado y las tasas de uso se han disparado. Según el Dr. Sithole, antes de implementar la solución Adaptive, el uso en el sistema Blue Gene estaba entre el 50 y el 60 por ciento; ahora está cerca del 97 por ciento. Del mismo modo, la utilización en el clúster Sun es superior al 80 por ciento. Este esquema automatizado no solo mejora el rendimiento del centro de datos sobre el aprovisionamiento manual, sino que también elimina el elemento del error humano.

Moab también fue fundamental en el apoyo al trabajo de animación 3D realizado por el estudio Character Matters en CHPC. En este caso, la aplicación de renderizado requería un entorno Windows, por lo que Moab aprovisionó dinámicamente el clúster e1350 con el entorno Windows HPC Server 2008 de Microsoft cuando el estudio necesitaba esos recursos. Una vez que se completa la renderización, Moab dirige automáticamente el reaprovisionamiento de esos nodos para el próximo trabajo.

El Dr. Sithole dice que ya están hablando con varios proveedores de HPC sobre su próximo sistema, pero su estrategia va más allá de simplemente adquirir más hardware. El objetivo más amplio es aumentar la base de usuarios de HPC en África y Sudáfrica. Con ese fin, se asoció con el Consejo de Competitividad con sede en Estados Unidos para formular un plan para fomentar una mayor participación de la industria. Una vez que aumente la demanda africana de HPC, espera que las universidades y empresas locales estén interesadas en implementar sistemas HPC pequeños y medianos. Esto dejará a CHPC para impulsar la gama alta de HPC y evolucionar hacia un centro de supercomputación de clase mundial.

Recuerda compartir en tu Facebook para que tus colegas opinen

??? ? ? ???

Comparte