Supercomputación colaborativa - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Supercomputación colaborativa

Hola, un placer verte por aquí. Te habla Simón Sánchez y en esta ocasión hablaremos sobre Supercomputación colaborativa

La gran noticia en la comunidad científica esta semana fue el lanzamiento del Gran Colisionador de Hadrones (LHC) del CERN, el destructor atómico de $ 10 mil millones que envió sus primeros rayos de protones a través del túnel subterráneo de 17 millas del dispositivo hacia Suiza y Francia. Estas pruebas iniciales fueron la culminación de 15 años de planificación y desarrollo que reunieron a 80 países y miles de investigadores individuales de todo el mundo. Si bien queda por ver qué avances científicos resultarán en última instancia de los experimentos del LHC, no hay duda de que representa el proyecto científico mundial más grande y ambicioso de la actualidad.

Hoy, sin embargo, hablaré de otra serie de colaboraciones con comunidades científicas, aunque estas han recibido mucha menos atención en la prensa. Durante los últimos siete años, la Oficina de Ciencias del Departamento de Energía de EE. UU. (DOE) ha abierto las puertas a sus supercomputadoras de teraescala y ha cambiado la forma en que muchos científicos de EE. UU. Están realizando investigaciones de vanguardia. A través de SciDAC es INCITAR programas, la Oficina de Ciencias ha ampliado las capacidades informáticas de alta gama de la agencia, al tiempo que distribuye el talento de supercomputación y los recursos de hardware a la comunidad de investigación en general.

En la mayoría de los casos, estas colaboraciones se limitaron a la ciencia basada en los EE. UU., Pero en otros casos el DOE colaboró ​​con investigadores de todo el mundo. De hecho, el DOE (junto con la NSF) invirtió $ 531 millones en el proyecto LHC antes mencionado y ayudó a diseñar y construir los detectores ATLAS y CMS a través de dos de sus laboratorios: Brookhaven en Nueva York y Fermilab en Illinois.

A medida que las agencias gubernamentales estadounidenses compiten por el presupuesto y la atención, la reacción natural es que cada agencia proteja sus propios activos. Entonces, en muchos sentidos, abrir la oficina de ciencias del DOE fue un camino poco probable. Quizás aún más improbable es la persona que dirigió la acusación: el Dr. Raymond Orbach, director de la Oficina de Ciencias. En 2002, Orbach fue nombrado por la administración Bush, un grupo no conocido exactamente por su estilo de gobernanza colaborativa, y mucho menos por su amor por la ciencia abierta o, en algunos casos, la ciencia. Pero Orbach ha demostrado ser un verdadero líder en el fomento de asociaciones con otras agencias, universidades e incluso organizaciones de la industria.

El programa INCITE, en particular, ha cambiado la naturaleza de la informática en el DOE. Hasta 2002, las computadoras de la agencia se usaban principalmente para los beneficiarios del DOE. En ese momento, Orbach ideó el programa INCITE, que abrió los recursos de supercomputación del DOE a la comunidad científica. El programa se diseñó para que los ciclos de supercomputación se asignaran de forma competitiva, en la que solo las organizaciones más capaces y los problemas más interesantes tenían tiempo en las máquinas. En pocas palabras, la idea era hacer disponible el mejor hardware para la mejor ciencia. «Parece completamente razonable ahora, pero puedo decirles que en 2002 hubo mucha especulación y quejas de que estaba abriendo nuestras computadoras al mundo», admite Orbach.

En cada año subsiguiente, el programa ha ampliado sus dotaciones. En 2008, se asignaron 265 millones de horas de CPU en máquinas DOE a 55 proyectos, ocho de los cuales provienen de la industria, 17 de universidades y 20 de laboratorios DOE, así como otros investigadores públicos, privados e internacionales.

Aparentemente, INCITE también proporcionará la instalación de asignación de computadoras anunciada el lunes para una nueva asociación con NOAA. En este caso, la Oficina de Ciencias proporcionará a la NOAA más de 10 millones de horas de tiempo computacional para desarrollar y perfeccionar modelos avanzados de cambio climático. El trabajo se realizará en el último hardware de procesamiento en tres laboratorios del DOE: Argonne, Oak Ridge y NERSC en Lawrence Berkeley.

Si bien el DOE ya ha trabajado con la comunidad climática, lo ha hecho principalmente a través de colaboraciones de menor nivel entre agencias de PI. Como dice Pete Beckman, director interino de Argonne: “Esto realmente dice que queremos avanzar juntos estratégicamente. Y esto es muy importante. «Él ve la nueva colaboración como una forma de hacer avanzar el trabajo de modelado del clima y el clima nacional en un marco más unificado. En Argonne, ya han comenzado a llevar algunos de los códigos NOAA para que se ejecuten en su sistema Blue Gene / P». 557 teraflops En este nuevo marco, Beckman cree que durante los próximos dos años deberíamos poder «mejorar en gran medida nuestras capacidades de predicción meteorológica y climática».

La colaboración entre el DOE y la NOAA se formalizó en un Memorando de Entendimiento (MOU), pero se lleva a cabo en el marco general del Programa de Ciencias del Cambio Climático (CCSP), establecido en julio de 2003. El programa reunió no solo NOAA y DOE, pero también NCAR y otras diez agencias federales. La lógica era aportar algo de cohesión a los códigos climáticos que se están desarrollando en Estados Unidos. “En el momento de la promulgación de la CCSP, Estados Unidos estaba rezagado en la informática de alta gama”, dice Orbach. «El simulador de la Tierra japonés era la máquina más rápida del mundo y no teníamos ninguna habilidad científica abierta para igualarlo».

En 2004, Estados Unidos recuperó el primer lugar en supercomputación con BlueGene / L y ha mantenido el liderazgo desde entonces. Pero no todas las agencias estadounidenses estaban equipadas con supercomputadoras de última generación o el talento de software que atraían. NOAA, que es administrada por el Departamento de Comercio, tiene muchas menos capacidades de HPC que las agencias federales como el Departamento de Defensa y el DOE. Actualmente, el sistema más poderoso de NOAA es un sistema relativamente modesto basado en IBM Power6 de 25 teraflop. «En mi opinión, este memorando de entendimiento es un reconocimiento de dónde se encuentra cada una de las agencias en este momento y, francamente, una racionalización de sus habilidades y talentos», explicó Orbach.

Además de recuperar el liderazgo en supercomputación en 2004, la comunidad de modelos climáticos también se ha expandido. A través de Medida de la radiación atmosférica (ARM) y el programa SciDAC (un programa que comenzó en 2001 y reunió a los mejores investigadores en una variedad de disciplinas científicas), la Oficina de Ciencias ha desarrollado una profunda experiencia tanto en la medición del clima como en la modelización del cambio climático global. Según Orbach, la acumulación de esta experiencia durante los últimos cinco años es al menos tan importante como el nuevo hardware para avanzar en los modelos climáticos.

Con la nueva asociación, los códigos de NOAA se abrirán a la comunidad y Orbach espera que el software se optimice con la ayuda de los investigadores de SciDAC. NOAA actualmente usa uno de sus productos en casa Laboratorio de dinámica de fluidos geofísica (GFDL) para predecir huracanes, pero actualmente está limitado a un modelo de cuadrícula basado en una granularidad de 9 km. Orbach dice que para obtener modelos realmente precisos, debe bajar al nivel de 1 km. Al optimizar el software, Orbach cree que puede adquirir un par de órdenes de magnitud en el «rendimiento» y señala que SciDAC ha realizado mejoras similares en otros códigos en los que ha trabajado.

Los códigos climáticos GFDL de la NOAA y los códigos del Modelo del Sistema Climático Comunitario (CCSM) del DOE-NCAR son los dos modelos climáticos nacionales más importantes desarrollados en los EE. UU. Si los códigos se integrarán en algún momento o seguirán divergiendo sigue siendo una cuestión, aunque Orbach tiene su propia opinión al respecto.

«En última instancia, me gustaría que Estados Unidos tuviera un código único», dice. “Esto es lo que han acordado los europeos y tienen muchos más socios que nosotros. Como resultado, han podido desarrollar un código común para toda la comunidad europea y han logrado un progreso realmente maravilloso. Esta multiplicidad de códigos, no sé cómo terminará «.

Mirando más allá, a Orbach le gustaría ver que los modelos de cambio climático incorporan factores humanos. Hoy en día, los códigos climáticos solo consideran el sistema físico: océanos, atmósfera, masas de tierra, etc. Pero el comportamiento humano también se puede modelar y, dado que las personas necesariamente cambiarán su comportamiento en respuesta a las decisiones de política climática, por ejemplo, precios de la energía, nuevas fuentes de energía y medidas de conservación, la retroalimentación debe ser parte del modelo climático para producir un pronóstico. preciso. Más importante aún, los propios responsables de la formulación de políticas tendrían que acceder a esos modelos para poder ejecutar diferentes escenarios para las políticas que están considerando.

Ya se habla de modelos integrados como este en previsión de máquinas DOE multi-petaflop y posiblemente exaflop. La agencia ya donó un millón de horas de CPU al National Endowment for the Humanities (NEH) para comenzar a generar interés en este tipo de aplicaciones. Además, se llevaron a cabo seminarios en Berkeley para enseñar a los científicos sociales cómo usar estas supercomputadoras de vanguardia.

«Todavía no hemos llegado», me dijo Orbach. «No sé qué tan rápidas tendrán que ser nuestras computadoras o qué tan buenos tendrán que ser nuestros códigos, pero puedes ver hacia dónde vamos».

Orbach probablemente no estará presente para marcar el comienzo de estas aplicaciones de próxima generación. Como designado político, su mandato en el DOE termina en cuatro meses cuando Bush deja el cargo. Asume que quienquiera que gane en las elecciones presidenciales querrá que su persona encabece la Oficina de Ciencias. «Desaparece al mediodía del 20 de enero», observa Orbach.

En teoría, su programa INCITE podría ser abandonado o reducido por un nuevo liderazgo, pero eso es muy poco probable. El programa ya es demasiado popular en la comunidad científica y tecnológica. Lo más probable es que el próximo director se base en los cimientos que Orbach ha construido durante este mandato de 7 años. Y con la conciencia pública sobre el cambio climático y la política energética en máximos históricos, el DOE puede ser la agencia más importante del gobierno de EE. UU. En la próxima administración.

No te olvides compartir en tus redes sociales para que tus amigos lo consulten

??? ? ? ???

Comparte