En la frontera Grid-Cloud en el CERN - Calendae | Informática, Electrónica, CMS, Ciberseguridad

En la frontera Grid-Cloud en el CERN

Hola, ¿qué tal colega?. Te escribe Simón Sánchez y esta vez te voy a hablar sobre En la frontera Grid-Cloud en el CERN

El CERN es una instalación de HPC de última generación que se extiende a ambos lados de la frontera franco-suiza en Ginebra y, curiosamente, también comparte un espacio gris en la frontera entre la red interna y la computación en la nube, según Sverre Jarp, director de tecnología de Openlab en el CERN.

Establecido en 1945 como un centro europeo de investigación nuclear, la instalación de investigación nuclear alberga enormes volúmenes de datos experimentales que deben almacenarse y procesarse. Este volumen de datos es fundamental para una variedad de afiliados del CERN que apoyan los nuevos programas de investigación de HPC tanto dentro de la instalación como de los programas asociados en otras instituciones.

En el corazón de la infraestructura de TI de HPC del CERN se encuentra el uso de su propia red de HPC interna que gestiona los volúmenes de datos. Debido a la cantidad de datos y la complejidad de esta infraestructura, el CERN ha creado un equipo de TI separado para administrar todos los aspectos del volumen de datos de HPC.

El liderazgo del CERN en el uso y desarrollo de su red HPC interna es ejemplar y merece una mirada más de cerca, especialmente a medida que el programa continúa expandiéndose, lo que Sverre Jarp dice, están construyendo aún más sobre esta experiencia y «tomando» medidas para trasladar la infraestructura de la red HPC a la nube «.

Transformación de datos en la red interna del CERN

Aunque muchos ya están familiarizados con la estructura del CERN y los principales objetivos de investigación, es menos común encontrar información sobre lo que está sucediendo con los datos recopilados. El CERN ha desarrollado su cuadrícula HPC específicamente para su uso y aplicación internos, y los métodos mediante los cuales procesan los vastos conjuntos de datos se basan en tipos complejos de aplicaciones internas.

Actualmente, el CERN utiliza su propia cuadrícula HPC interna para recopilar y almacenar los enormes volúmenes de datos generados por los aceleradores de partículas. Cuando los aceleradores funcionan y generan colisiones, se deben transportar grandes cantidades de información desde los detectores de partículas a las unidades de almacenamiento iniciales. Las colisiones ocurren a intervalos de 25 nanosegundos y es responsabilidad del detector de partículas transmitir esta enorme ráfaga de información en nanosegundos.

Los datos del detector de parcelas se filtran y se envían a la primera capa de la cuadrícula HPC del CERN, el filtro de nivel uno. La cuadrícula interna de CERN HPC está compuesta por una amplia gama de computadoras para el almacenamiento y procesamiento de datos. Después de residir en el filtro de nivel uno, los datos se transfieren al nivel de cuadrícula de nivel 0, una granja que consta de miles de máquinas. Estas máquinas almacenan los datos y los envían al siguiente nivel.

Dado que el volumen de datos es tan grande, debe filtrarse y procesarse en diferentes niveles utilizando una amplia gama de programas. El nivel 1 es el siguiente nivel donde los datos residuales se almacenan en la red HPC y se comparten con los principales laboratorios. Finalmente, estos datos se transmiten en el nivel 2, para su uso en universidades y otras instituciones. Se trata de programas que se basan en este contenido para iniciativas de investigación, análisis y desarrollo.

El CERN utiliza su cuadrícula HPC interna para ampliar su conocimiento interno de las herramientas y aplicaciones de la cuadrícula HPC, que luego comparte con otros grupos. Tienen una gran cantidad de información sobre la computación HPC Grid de su uso interno, desarrollo personalizado y refinamiento de tecnologías centrales.

CERN está solo

El CERN ha liderado la iniciativa de computación en red HPC desde sus inicios. Otras instituciones tienen programas similares en concepto, pero sus centros de cuadrícula de HPC generan datos de detectores de partículas en grandes volúmenes como el CERN. Por ejemplo, la Universidad de Chicago también tiene un programa HPC Grid. Dentro de su programa de cuadrículas han agregado proyectos especiales. Uno de esos proyectos se llama ESG Earth System Grid. ESG Earth System Grid integra la tecnología de red con otras seis redes. Esta cuadrícula aún se está actualizando y modificando y será la infraestructura futura para volúmenes aún más masivos de datos planificados con la próxima operación operativa del nuevo Gran Colisionador Internacional de Hadrones (ILHC).

El CERN ha ampliado su tecnología de redes HPC para incluir nuevas iniciativas y programas que se pueden compartir con el público. Muchos de estos programas son Openlab, una colaboración entre CERN y socios industriales, Open Nebula, un proyecto de código abierto que construye la herramienta de computación en la nube de código abierto estándar de la industria, el programa Sara Grid para un mayor soporte y desarrollo de redes, Grid Café compartir tecnología grill. con la comunidad pública y la iniciativa World Wide LHC Grid Computing para construir sobre la red LHC existente y expandirse.

Cada programa individual promueve los conceptos y la tecnología que ya utiliza la instalación del CERN. La iniciativa SARA del CERN también está funcionando bien. El programa SARA prueba el uso de clústeres para el cálculo de HPC. Floris Sluiter, líder del proyecto SARA, recibió el reconocimiento en otro artículo de HPC Cloud publicado el pasado mes de mayo. Floris afirma que «obtuvimos una evaluación muy positiva …» de la iniciativa de agrupación de HPC. Esto resultará en un apoyo continuo para esfuerzos futuros.

Durante una entrevista reciente del CERN con Sverre Jarp, el director de tecnología de openlab del CERN confirmó que su red ahora «… maneja 20 millones de trabajos al mes». Su programa está trabajando actualmente con expertos y los últimos productos de tecnología para expandir la red HPC y «comprender la infraestructura de la nube». Esta será la próxima área de la computación HPC donde la nube jugará un papel importante. Como parte de esta iniciativa en la nube para la red HPC, su equipo está considerando «la autenticación móvil como estándar en todas las infraestructuras de la nube». Con la autenticación móvil, la tecnología de red HPC en la nube será una solución segura y sólida.

Novedades del LHC

En openlab, el equipo de Sverre está llevando a cabo las iniciativas HPC Grid y Cloud. “Estamos aprovechando la infraestructura de la red para pasar a la nube. Esta es una iniciativa de varios años … algo que no sucederá de la noche a la mañana debido a las iniciativas de producción actuales ”. Sin embargo, su equipo está comprometido con la evolución del programa con capacidades en la nube y openlab tiene un papel clave en impulsar tecnología para pasar a la nube HPC. El líder del proyecto SARA, Floris Sluiter, es optimista. El reconocimiento reciente de sus iniciativas del programa de agrupación en clústeres SARA HPC ha llevado a nuevos negocios. «Obtuvimos luz verde para convertirlo en un servicio de producción … «.

Acerca de

Valery Herrington es el director ejecutivo de Herrington Technology. Es líder en tecnología empresarial con tecnología global de nivel 1 y un asesor y consultor ejecutivo de confianza con implementaciones de proyectos exitosas en más de 25 grandes organizaciones comerciales. La Sra. Herrington se especializa en tecnologías emergentes, arquitectura empresarial, gestión de programas y proyectos e implementaciones rápidas para las industrias farmacéutica y financiera, entre otras. La Sra. Herrington se puede encontrar en la web en http://www.herringtontechnology.net

Recursos adicionales

Proyecto mundial de computación en red LHC:

http://lcg.web.cern.ch/LCG/public/

Red mundial de computación LHC:

http://lcg.web.cern.ch/lcg/

Información sobre computación grid del CERN:

http://www.gridcafe.org/

Nebulosa abierta:

http://www.opennebula.org/about:about

Programa Sara Grid:
https://grid.sara.nl/wiki/index.php/Using_the_Grid

CERN Openlab:

http://proj-openlab-datagrid-public.web.cern.ch/proj-openlab-datagrid-public/

https://openlab-mu-internal.web.cern.ch/openlab-mu-internal/

https://openlab-mu-internal.web.cern.ch/openlab-mu-internal/

Universidad de Chicago:

http://www.ci.uchicago.edu/research/grid_cloud_computing.php

Recuerda compartir en una historia de tu Instagram para que tus amigos lo vean

??? ? ? ???

Comparte