Nubes HPC del Centro de Supercomputación de San Diego "Seeds" - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Nubes HPC del Centro de Supercomputación de San Diego «Seeds»

Hola y mil gracias por leerme. Te escribe Simón Sánchez y en el día de hoy te voy a hablar sobre Nubes HPC del Centro de Supercomputación de San Diego «Seeds»

Todos los sectores de la comunidad informática de alto rendimiento (la academia, la industria y el gobierno) necesitan desde hace mucho tiempo una infraestructura que permita a los investigadores compartir fácilmente sus hallazgos con otros científicos u organizaciones de una manera eficiente y segura.

Compartir estos resultados es vital, ya que forman la base para la validación y los próximos pasos potenciales en cualquier proyecto de investigación, desde la cosmología hasta la secuenciación del genoma. Las visualizaciones y simulaciones computacionales, por ejemplo, se han convertido en un recurso indispensable en numerosos campos científicos. Pero si bien las evaluaciones rápidas y efectivas de dichos datos son necesarias para el uso eficiente de los recursos computacionales involucrados, tal ejercicio puede ser un desafío cuando un equipo de investigación es grande y / o geográficamente disperso, o algunos miembros no tienen acceso directo a un sistema HPC. .

Además, los métodos actuales para compartir y evaluar resultados pueden ser laboriosos y no cuentan con el respaldo de herramientas y procedimientos útiles. Por lo general, un grupo de búsqueda necesita crear sus propios scripts y procedimientos ad hoc solo para mover los resultados de un sistema a otro o de un usuario a otro. Estos esfuerzos generalmente se basan en el correo electrónico, ftp o copia segura (scp) a pesar de la ubicuidad de tecnologías basadas en la web más flexibles y no aprovechan al máximo las capacidades interactivas de los dispositivos móviles actuales.

A finales de 2012, el San Diego Supercomputer Center (SDSC) de la Universidad de California, San Diego recibió una subvención de tres años de $ 810,000 de la National Science Foundation para desarrollar un recurso que permite a los investigadores compartir y transmitir visualizaciones científicas. en una variedad de plataformas, incluidos dispositivos móviles. Llamada SeedMe por «Codificar, explorar, diseminar mis experimentos con rapidez», la arquitectura basada en web de SDSC está diseñada para permitir el intercambio rápido de contenido directamente desde aplicaciones que se ejecutan en HPC o recursos en la nube.

Esta primavera, un equipo de investigadores de SDSC desarrolló una implementación funcional que, además de las vistas de video, admite otros contenidos como gráficos, archivos y tickers, todos los cuales son esenciales para la investigación científica. Herramientas programáticas y de línea de comandos fáciles de usar con documentación están disponibles para permitir que los usuarios finales interactúen con SeedMe.org. UN Guia rapida, dirigido a investigadores de HPC, también está disponible.

«SeedMe ahora proporciona un componente esencial pero faltante en la computación de alto rendimiento actual», dijo Amit Chourasia, científico senior de visualización en SDSC e investigador principal del proyecto. «Ahora estamos invitando a investigadores de la industria y el mundo académico y de varios dominios a aprovechar la funcionalidad fácil de usar de SeedMe para compartir sus resultados con colegas o con el público en general».

«La infraestructura de HPC actual depende en gran medida del acceso controlado», dijo Michael Norman, director de SDSC y co-investigador principal del proyecto. “SeedMe proporciona entradas y salidas públicas seguras mediante la integración de activos de HPC sin comprometer su modelo de seguridad. Creemos que este proyecto tendrá un impacto transformador en numerosos dominios, ya que la investigación se ha vuelto cada vez más colaborativa y requiere mejores herramientas y recursos que ayuden a compartir información «.

Secuencia de interacción del usuario de SeedMe. Fuente, Amit Chourasia / SDSC

SeedMe es único en comparación con otras interfaces web, ya que está completamente enfocado en el intercambio eficiente de contenido científico. Aunque SeedMe puede describirse en términos generales como un DropBox para la ciencia, la comunidad de investigación computacional requiere varias características y herramientas de integración adicionales.

«Uno de estos requisitos es la fácil instrumentación de códigos de simulación, así como el soporte para la instrumentación de rutinas de análisis desde una variedad de herramientas de software», dijo Chourasia. “Esa instrumentación puede proporcionar seguimiento y monitoreo periódicos mediante la publicación de mensajes de progreso, estado del trabajo, fragmentos de datos iniciales, scripts, archivos de parámetros y otros componentes reutilizables. Pero ningún servicio web o conjunto de herramientas individual aborda la amplitud de los desafíos de la informática científica con tanta eficacia y facilidad como la infraestructura de SeedMe «.

Según Chourasia, algunas de las quejas más comunes entre los investigadores cuando necesitan compartir resultados con colegas incluyen el hecho de que muchos simplemente no pueden permitirse gastar tiempo y dinero valiosos en la construcción de su propio sistema para compartir resultados. “Muchos lo encuentran voluminoso o caro. Tampoco quieren perder el tiempo buscando archivos adjuntos de correo electrónico, ni tienen que verificar constantemente los archivos para monitorear el progreso, o pasar largas horas codificando videos de una serie de imágenes para que funcionen en todos los dispositivos «.

Con este fin, el objetivo de SeedMe es promover una rápida evaluación, iteración, comunicación y difusión de la investigación haciéndola accesible en cualquier lugar en cualquier dispositivo, incluidos los dispositivos móviles, y casi en tiempo real. Los resultados solo pueden compartirse dentro de grupos privados o publicarse para consumo público, según las preferencias del usuario.

«SeedMe tiene como objetivo cerrar la brecha de automatización y accesibilidad en la investigación computacional», dijo Chourasia, destacando que uno de los principales objetivos del proyecto es promover la accesibilidad de contenido preliminar, ad hoc y efímero, todo vital para la eficiencia y éxito.

Aceleración de pantalla

Las visualizaciones y simulaciones son una parte cada vez mayor de la investigación científica actual. Estas simulaciones de vanguardia ahora están creando imágenes de visualización en tiempo de ejecución utilizando procesamiento in situ. Las imágenes o la secuencia de imágenes ahora se pueden compartir con otros usando SeedMe con una integración asincrónica simple que proporciona un mecanismo de seguimiento y evaluación fácil para los colaboradores.

SeedMe también aprovecha los avances recientes en la estandarización de video en comunidades basadas en la web, proporcionando una aceleración significativa en la codificación de video utilizando procesamiento distribuido paralelo, lo que no es posible en las plataformas HPC existentes debido a la falta de tecnologías de vanguardia. compresión de video en sistemas operativos similares a Linux.

Izquierda: una imagen de un archivo secuencia de reproducción de volumen de vapor de la simulación de la erupción del volcán. Un video coincidente creado a partir de la secuencia de imágenes de la izquierda a la velocidad de fotogramas deseada proporcionada por el usuario. Los videos están codificados en varias resoluciones (incluida la resolución nativa) y están disponibles para reproducción y descarga. Fuente Amit Chourasia / Darcy Ogden, UC San Diego

Derecha: imagen del cálculo y visualización del conjunto de Mandelbrot. Aquí, el cálculo y la visualización se realizan in situ y las imágenes se cargan en SeedMe de forma asincrónica. Fuente: Brad Whitlock, Intelligent Light y Amit Chourasia, UC San Diego

«Nuestro objetivo ha sido convertir un proceso manual, en serie y propenso a errores en una infraestructura de TI automatizada, simplificada, paralela y accesible a través de la web, y al mismo tiempo crear videos que no solo estén codificados en una calidad muy alta para mitigar el artefactos de compresión para contenido científico, pero también lo hacen fácilmente descargable para los investigadores ”, dijo Chourasia.

Los primeros usuarios dan la bienvenida a SeedMe. «Es muy conveniente compartir los resultados de la investigación con los colaboradores, en comparación con enviar los resultados por correo electrónico», dijo Hao Xu, un investigador postdoctoral que realizó simulaciones de la evolución de galaxias en la supercomputadora Blue Waters en Centro Nacional de Aplicaciones de Supercomputación (NCSA).

«SeedMe proporciona formas convenientes de organizar los resultados, que se pueden actualizar fácilmente, asegurándose de que los colaboradores o los nuevos colaboradores vean los resultados más recientes», dijo Xu, quien trabajó con Norman, un astrofísico de capacitación, director de SDSC. «También evita el dolor de encontrar números y gráficos en los correos electrónicos y también está demostrando ser un recurso muy útil durante las conferencias telefónicas».

En el futuro, el equipo de investigación de SeedMe explorará la posibilidad de convertir el recurso en una plataforma para compartir contenido reutilizable. El investigador de NCSA, Matthew Turk, está investigando la mejor manera de hacer esto. compartir cuadernos de IPython desde yt software, que se utiliza para analizar y visualizar conjuntos de datos de simulaciones astrofísicas, ingeniería nuclear y datos de radiotelescopios.

«Al desarrollar el soporte de yt para la carga directa en SeedMe, esperamos permitir un intercambio de resultados más rápido, fácil y sin problemas para cualquiera que use yt», dijo Turk. «SeedMe también permite un fácil control sobre los permisos de uso compartido, proporcionando una interfaz fácil de usar para cargar imágenes y datos en una ubicación central».

Tutoriales programados

Como repositorio de investigación abierto, accesible en la web y con capacidad de búsqueda, SeedMe también es adecuado para programas de educación y divulgación. Además de organizar tutoriales, conferencias y seminarios web para capacitar a nuevos usuarios y recibir comentarios de los usuarios, el programa proporcionará pasantías a estudiantes de secundaria y universitarios que les permitirán aprender tecnologías web y la amplia gama de investigaciones, al tiempo que respalda el monitoreo de contenido. en el sitio web del proyecto.

Los tutoriales y talleres ya están en proceso, con presentaciones planeadas. XSEDE14 es SC14, así como un seminario web como parte de Programa de socios industriales de SDSC el 24 de julio. Estas sesiones mostrarán a los usuarios potenciales cómo realizar las siguientes operaciones en computadoras personales y dispositivos móviles directamente desde los trabajos de procesamiento.

  • Obtenga comentarios rápidos sobre los procesos de procesamiento
  • Comparta rápidamente comentarios con colaboradores de todo el mundo
  • Brindar acceso a resultados preliminares para guiar la presentación posterior de trabajos.
  • Apoyar la discusión de retroalimentación y resultados entre colaboradores.

Amit Chourasia, 858822-3656 o [email protected]

Jan Zverina, Comunicaciones SDSC, 858 534-5111 o [email protected]

Warren R. Froelich, Comunicaciones SDSC, 858822-3622 o [email protected]

Los detalles completos del proyecto SeedMe están disponibles en http://www.seedme.org/. El número de adjudicación de la NSF para el proyecto SeedMe es OCI-1235505. Además de Chourasia y Norman, el equipo del proyecto SeedMe incluye a Mona Wong-Barnum, David Nadeau y Andrew Ferbert, todos con SDSC.

Recuerda compartir en en tu Twitter y Facebook para que tus colegas lo lean

??? ? ? ???

Comparte