Nube HPC holandesa funcionando a toda velocidad - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Nube HPC holandesa funcionando a toda velocidad

Hola, un placer verte por aquí. Soy Simón Sánchez y en esta ocasión te voy a hablar sobre Nube HPC holandesa funcionando a toda velocidad

El pasado mes de octubre tuvo lugar un evento especial en el Science Park de Ámsterdam. Después de 2 años de arduo trabajo, la primera infraestructura de nube HPC fácil de usar de Europa está funcionando a plena capacidad. La colaboración entre el centro de supercomputadoras, SARA y el proyecto de computación en red, BiG Grid, está en el corazón de este hito épico.

El resultado de esta colaboración es una infraestructura de nube de HPC que tiene en cuenta la usabilidad para la comunidad científica y el rendimiento. Por un lado, los científicos pueden utilizar un entorno informático prácticamente idéntico al entorno al que están acostumbrados. Por otro lado, tienen acceso a recursos informáticos de alto rendimiento de autoservicio y dinámicamente escalables, que se pueden configurar con un alto nivel de detalle.

¿Qué hay debajo del capó del sistema HPC Cloud? Básicamente, 608 núcleos y 4,75 TB de RAM repartidos en 19 nodos físicos con 32 núcleos de CPU Intel de 2,13 GHz y 256 GB de RAM cada uno. Además, cada nodo tiene un «disco local» de 10 TB.

La virtualización se realiza con KVM. La última versión de OpenNebula, considerada un estándar de facto en administradores de infraestructura virtual, ha sido elegida como el motor dentro de HPC Cloud de SARA. De hecho, los desarrolladores de OpenNebula se contactó con ellos al principio de la configuración para discutir cómo aprovechar al máximo OpenNebula y hacer que la infraestructura final satisfaga las complejas necesidades de la comunidad HPC. Además, desde el principio han involucrado a los usuarios en la prueba de la plataforma, resultando en una activa contribución al ecosistema OpenNebula.

La plataforma ha atraído a científicos de una amplia gama de campos como la bioinformática, la ecología, la geografía o la informática. Algunos de los usuarios se presentaron el 4 de octubre en Ámsterdam en el día de HPC Cloud. Entre ellas, hay algunas aplicaciones clave que encontré interesantes para este artículo.

El primero proviene del Departamento de Microarrays / Unidad de Bioinformática Integrativa (MAD / IBU) de la Universidad de Amsterdam. Su investigación abarca desde la reproducción de semillas hasta el daño del ADN, pero siempre debe abordar la transcripción de genes en todo el genoma. Comparar cadenas en bases de datos tan grandes es una tarea desafiante en la que una enorme potencia informática se vuelve vital.

El Biomedical Imaging Group Rotterdam (BIGR) de Erasmus MC opera en dos líneas de investigación principales. La primera es la obtención de imágenes de la población mediante el desarrollo de herramientas robustas, precisas y completamente automatizadas que permiten comprender las enfermedades a partir de los cambios cerebrales. El segundo se refiere a la provisión de diagnósticos tempranos y más precisos a través de herramientas asistidas por computadora.

El Instituto Holandés de Ecología (NIOO-KNAW) trabaja a nivel del genoma y no duda en utilizar herramientas relacionadas con el paradigma del portal informático para realizar investigación básica. De hecho, hicieron que algunas de estas herramientas (Galaxy y Cloudman) estuvieran disponibles en el entorno HPC Cloud. De esta manera, la plataforma no solo es útil para su análisis de datos de secuenciación comunitaria de alto rendimiento, sino también para otros grupos de investigación que se beneficiarán de las herramientas que trae.

Koninklijke Bibliotheek (Biblioteca Real) trabaja en lo que se llama computación humanística y debo decir que su uso de HPC Cloud fue una sorpresa para mí. Básicamente, el objetivo es que todo el mundo tenga acceso a través de Internet a todo lo que se publicó en los Países Bajos y los Países Bajos entre 1618 y 1995. El reconocimiento óptico de caracteres en los documentos actuales es relativamente fácil de hacer, pero la tarea se complica cuando se trabaja con libros muy antiguos debido a la escritura y los daños. Sin embargo, planean digitalizar el 10% de estas publicaciones para 2013.

Teniendo en cuenta la crisis económica actual, la Escuela de Administración de la Universidad Erasmus de Rotterdam se centra en las finanzas y, en particular, la liquidez o cómo negociar rápidamente grandes volúmenes a bajo costo. El mercado mundial es el que fija el techo a la cantidad de datos a procesar. Su marco se ocupa de más de 400 intercambios en todo el mundo, 45 millones de instrumentos diferentes, 350 campos de datos históricos a partir de 1996.

Estos son solo algunos ejemplos, pero nuevamente, recuerde que la infraestructura de HPC Cloud se creó pensando en los usuarios. Un usuario que ya sabe lo que quiere y tiene un entorno existente puede reconstruirlo en la nube HPC en una tarde. En este contexto, se imparten cursos de 90 minutos para que los usuarios estén operativos, listos para implementar grandes clústeres en la infraestructura. El resultado es que los proyectos para trasladar software a esta infraestructura generalmente solo toman días en lugar de meses o años.

El único inconveniente (para mí) es que la plataforma financiada por un proyecto nacional, por lo tanto, solo puede albergar a investigadores holandeses y sus afiliaciones. Sin embargo, SARA no cerrará sus puertas a los extranjeros en el futuro cuando la financiación pueda cambiar. Y varios investigadores holandeses participan en proyectos internacionales, permitiendo el acceso a la infraestructura a los miembros del proyecto internacional.

Me gustaría expresar todo mi agradecimiento al líder del proyecto HPC Cloud Drs. Floris Sluiter de SARA, quien muy amablemente me proporcionó la información necesaria para escribir este artículo.

Enlaces de notas

Las presentaciones del HPC Cloud Day el 4 de octubre en Amsterdam:

programa y presentaciones:

http://www.sara.nl/news/Festive-launch-of-new-hpc-cloud-infrastructure

Grabaciones de video: http://ftp.sara.nl/pub/cave/outgoing/clouddag/

SARA es un centro nacional de supercomputación, fundado originalmente por la Universidad de Amsterdam, la Universidad de Vrije y el stichting Mathematisch Centrum (ahora Centrum Wiskunde & Informatica). Han pasado cuarenta años desde su primer compromiso con el procesamiento de datos de los tres fundadores, y ahora brinda servicios HPC en todo el país.

Cuadrícula BiG es un proyecto liderado por NCF, Nikhef y NBIC que tiene como objetivo crear la infraestructura de red nacional para la investigación científica.

Acerca de

El Dr. José Luis Vázquez-Poletti es profesor adjunto de Arquitectura de Computadores en la Universidad Complutense de Madrid (España) e investigador de computación en la nube en el Grupo de Investigación de Arquitectura de Sistemas Distribuidos (http://dsa-research.org/).

Está (y ha estado) directamente involucrado en proyectos financiados por la UE como EGEE (Grid Computing) y 4CaaSt (PaaS Cloud), así como en muchas iniciativas nacionales españolas.

De 2005 a 2009 su investigación se centró en la portabilidad de aplicaciones a infraestructuras Grid Computing, actividad que le permitió estar “donde estaba la acción real”. Estas aplicaciones cubrieron una amplia gama de áreas, desde la física de fusión hasta la bioinformática. Durante este período adquirió las habilidades necesarias para perfilar aplicaciones y hacer que se beneficien de las infraestructuras de computación distribuida. Además, ha compartido estas habilidades en muchos eventos de formación organizados en el marco del proyecto EGEE e iniciativas similares.

Desde 2010 sus intereses de investigación se han centrado en diferentes aspectos del Cloud Computing, pero siempre teniendo en cuenta las aplicaciones de la vida real, en particular las relacionadas con el dominio de la Computación de Alto Rendimiento.

Sitio web: http://dsa-research.org/jlvazquez/
Linkedin: http://es.linkedin.com/in/jlvazquezpoletti/

Deberías compartir en tu Facebook para que tus colegas lo disfruten

??? ? ? ???

Comparte