La universidad de investigación Ivy League HPC logra un aumento de capacidad cuádruple y una mejora del 33% en el tiempo de procesamiento - Calendae | Informática, Electrónica, CMS, Ciberseguridad

La universidad de investigación Ivy League HPC logra un aumento de capacidad cuádruple y una mejora del 33% en el tiempo de procesamiento

Hola de nuevo. Te habla Simón Sánchez y hoy te voy a hablar sobre La universidad de investigación Ivy League HPC logra un aumento de capacidad cuádruple y una mejora del 33% en el tiempo de procesamiento

La Escuela de Artes y Ciencias de la Universidad de Pensilvania (SAS) es parte de uno de los institutos de investigación líderes del país. La escuela representa más de la mitad del total de clases ofrecidas en Penn, muchas de las cuales son impartidas por científicos y académicos reconocidos con los más altos honores en la academia, incluida la Medalla Nacional de Ciencias, la Beca MacArthur, el Premio Pulitzer y el Nobel.

Toda esta importante investigación no podría realizarse sin una potencia informática adecuada. Penn es una instalación de Research One, clasificada entre las mejores instalaciones de computación de alto rendimiento a nivel nacional. Gran parte de ese motor de cálculo está impulsado por las redes de Computación de alto rendimiento (HPC) de la Universidad de Pensilvania, que admiten una multitud de plataformas de investigación.

Deben eliminarse los cuellos de botella de la investigación

En el mundo académico, existe una competencia feroz y constante para completar y publicar investigaciones más rápidamente. Ser el primero en publicar nueva información sobre las fronteras de la ciencia es fundamental para el éxito continuo de Penn. Gran parte de la investigación realizada en SAS es intensiva en datos, lo que requiere una capacidad y velocidad de almacenamiento increíbles. En un esfuerzo por respaldar mejor esta demanda, SAS buscó una actualización de su matriz de almacenamiento de conexión directa existente que admitiera uno de sus clústeres de HPC.

«Necesitábamos una solución completa de almacenamiento de sistema de archivos en red con la confiabilidad y el rendimiento para manejar la intensa investigación científica realizada por nuestros astrofísicos», dijo Gavin Burris, programador senior de sistemas, Seguridad de la Información y Sistemas UNIX en Escuela de Artes y Ciencias de la Universidad de Pensilvania.

Con la solución de archivo anterior, los investigadores esperaban en fila para procesar los datos, porque cada trabajo tomaba varias horas más de lo necesario. Burris sabía que era hora de buscar una solución de almacenamiento actualizada. «El trabajo que están haciendo los astrofísicos implica reducir las imágenes del telescopio, analizar los datos del telescopio y encontrar patrones», señala Burris. «Con nuestro almacenamiento anterior, solo habrían podido ejecutar un máximo de cuatro trabajos a la vez antes de maximizar la matriz de almacenamiento en términos de operaciones de E / S por segundo».

El cuello de botella se debió a la capacidad y el rendimiento limitados de la antigua solución de almacenamiento. El tráfico de almacenamiento viajó en la misma conexión de red de 1 gigabit que el servidor y el tráfico de programación de trabajos, y solo cuatro nodos del clúster SAS HPC, que consta de 16 nodos de servidor Dell PowerEdge que ejecutan CentOS Linux, podían acceder al almacenamiento en en cualquier momento. El uso de los 16 nodos daría como resultado un aumento de cuatro veces la capacidad. A la luz del problema del cuello de botella, Burris evaluó los requisitos para la solución de almacenamiento mejorada a una velocidad y capacidad suficientes para permitir que todos los nodos del servidor accedan al almacenamiento simultáneamente. «Para superar el cuello de botella que encontraron nuestros investigadores, necesitábamos más discos y una conexión de red dedicada y razonablemente rápida a ese almacenamiento», dice Burris.

Encuentra la solución adecuada

Burris consideró utilizar el sistema de archivos paralelo de código abierto de Oracle conocido como Lustre, así como la solución General Parallel File System (GPFS) de IBM, pero decidió que la solución de almacenamiento HPC NFS NFS de Dell era más adecuada. “Lo que me atrajo de Dell HPC NSS fue el hecho de que es algo manejable y listo para ser suministrado por un solo proveedor, lo cual es una gran victoria”, dice Burris. «Además, no quería dar el salto a los sistemas de archivos paralelos para un sistema de este tamaño».

Dell vende y opera Dell HPC NSS como una solución completa que aprovecha la potencia de un servidor Dell PowerEdge R710 con procesadores Intel Xeon serie 5600 que ejecutan Red Hat Enterprise Linux y la matriz de almacenamiento Dell PowerVault MD1200. Las ofertas de soluciones NSS estándar incluyen todas las necesidades de SAS en un paquete: hardware, software, sistema de archivos, unidades de repuesto en frío y Dell ProSupport con servicio in situ de misión crítica de cuatro horas. “Tener un servicio in situ de misión crítica de cuatro horas en componentes críticos nos da la tranquilidad de que no perdemos los plazos de publicación”, dice Burris.

Dell pasa la prueba con un 33% más de rendimiento

Antes de realizar la compra, Burris decidió verificar las afirmaciones en la documentación técnica sobre las características y capacidades de Dell HPC NSS. «Dell HPC NSS parecía ser la solución más rentable y de calidad para todas nuestras necesidades. Solo necesitaba probarla y asegurarme de que pudiera hacer lo que la documentación de Dell afirma que puede», dice. “Dell pudo darme acceso al Centro de Supercomputación de Pittsburgh, donde habían instalado un sistema de demostración. Ejecuté mis puntos de referencia sintéticos utilizando IOzone y puntos de referencia de aplicaciones con las mismas herramientas de software AstrOmatic que utilizan nuestros investigadores. Dell HPC NSS se desempeñó un 33% mejor de lo esperado, eliminando una hora de trabajo que habría tomado tres horas en nuestro almacenamiento anterior «.

Con resultados de evaluación comparativa que superaron sus expectativas, Burris siguió adelante con la compra de Dell HPC NSS, planeando asignar una red dedicada para el tráfico de almacenamiento a fin de evitar competir con protocolos de administración y comunicaciones internos.

4 veces la capacidad, 10 veces más rendimiento de la red

Dell HPC NSS está configurado con conectividad Ethernet de 10 gigabits a la red SAS, lo que permite que SAS utilice NIC dedicadas en los nodos del servidor para aislar el tráfico de almacenamiento del resto de la red. Varios clientes de 1 gigabit ahora acceden al puerto de 10 gigabit a través de un conmutador Ethernet Dell PowerConnect 6248. Esto equivale a 10 veces más rendimiento de red agregado para almacenamiento que SAS anteriormente. «Estamos obteniendo un mejor rendimiento de la cantidad de discos en el sistema, tener un servidor de almacenamiento dedicado para ese volumen, tener una red dedicada para ese almacenamiento y también del conmutador en sí, lo que me permite cambiar la configuración de TCP / IP, por ejemplo, cómo habilitar fotogramas gigantes «, señala Burris. «Esto nos permite obtener más datos, utilizando menos paquetes con una carga útil más alta».

Además de ejecutar trabajos más rápido, SAS ahora puede ejecutar varios trabajos al mismo tiempo. «Ahora tenemos 96 terabytes, que es cuatro veces la capacidad de disco que teníamos anteriormente», dice Burris. «Eso es cuatro veces las IOPS teóricas, lo que significa que podremos hacer los trabajos cuatro veces y hacerlo más rápido. En lugar de limitarnos a cuatro nodos, podremos utilizar todos nuestros 16 nodos».

Burris valora que Dell HPC NSS se base en Red Hat Enterprise Linux con el complemento Red Hat Scalable File System Add-On para organizar de forma inteligente los metadatos del sistema de archivos. «No es una caja negra o un dispositivo al que no podamos acceder y depurar si es necesario», dice. «De hecho, podemos iniciar sesión en el servidor y configurarlo utilizando protocolos, demonios y sistemas de archivos estándar de Linux».

Permitir una investigación oportuna

El aumento en el rendimiento está ayudando a SAS a cumplir con los plazos de publicación de investigaciones importantes, que es el objetivo final de Burris. “Podemos manejar los requisitos de datos más grandes de proyectos futuros y al mismo tiempo aumentar el rendimiento”, dice. «Nuestros investigadores podrán ver más datos de más formas, hacer más trabajo, realizar búsquedas más amplias y refinadas y encontrar lo que buscan en los datos más rápidamente utilizando Dell HPC NSS. Todo tendrá un tiempo de respuesta más rápido».

El trabajo de investigación desarrollado sobre clústeres de HPC en SAS tiene un impacto directo en los problemas de salud humana y sostenibilidad ambiental, preocupaciones que nos preocupan a todos. «La gente dedica su vida a esta investigación», señala Burris. “Su sangre, su sudor y su tiempo se emplean todos los días en sus esfuerzos de investigación. Elegimos a Dell para respaldar este trabajo crucial porque es una solución completa que es sólida como una roca y tiene el mejor soporte «.

Los investigadores de Penn que ahora se están beneficiando de Dell HPC NSS incluyen a James Aguirre, profesor asistente del Departamento de Física y Astronomía, y Danny Jacobs, estudiante de posgrado, que están estudiando el efecto que las primeras estrellas y galaxias pueden tener sobre el gas hidrógeno. que los rodea. Dell HPC NSS les permite manejar la enorme cantidad de datos producidos por Precision Array para la instrumentación de Probing the Epoch of Reionization (PAPER).

El profesor asistente Masao Sako y el estudiante de posgrado John Fischer están utilizando el cúmulo para extraer datos telescópicos sobre supernovas que antes eran difíciles de detectar. «Básicamente, estamos agregando el flujo de una gran cantidad de imágenes que se superponen en el mismo trozo de cielo para ver objetos mucho más tenues», dice Fischer. Dell HPC NSS les permite cargar grandes conjuntos de datos de archivo desde Sloan Digital Sky Survey.

Otros investigadores de Penn están utilizando un clúster HPC de 31 nodos de servidores Dell PowerEdge R610 y R410, compatibles con las matrices de almacenamiento de conexión directa Dell PowerVault MD1000. Un ejemplo es un proyecto del Departamento de Ciencias de la Tierra y el Medio Ambiente dirigido por la investigadora y profesora Irina Marinov.

«Estamos simulando corrientes atmosféricas y oceánicas para estudiar el ciclo del carbono», señala Marinov. “Estamos aprendiendo información importante sobre el impacto del calentamiento global en la circulación oceánica y otros elementos que afectan nuestro sistema climático. Parte de este trabajo consiste en estudiar la retroalimentación entre el ciclo del carbono oceánico, la estructura del ecosistema oceánico, la circulación oceánica y el clima. Eso es una gran cantidad de datos. «

Otro ejemplo es el profesor Andrea Liu. En colaboración con sus colegas del Departamento de Física e investigadores de la Universidad de Chicago, la profesora Liu está tratando de comprender cómo ciertos sistemas de partículas terminan comportándose como sólidos cuando se atascan. “La pregunta que nos hicimos”, explica Liu, “es ¿cómo se comportan como sólidas las cosas que se atascan? Es decir, ¿cómo tienen las propiedades mecánicas de los sólidos cuando su estructura está desordenada? ¿Y podemos pensar en ellos en un marco común? ¿Podemos unificar todos estos diferentes sistemas que se atascan? «

Apoya la misión principal

La Universidad de Pensilvania tiene una misión de investigación que se remonta al siglo XIX, cuando la Universidad se transformó en una institución de investigación. Los proyectos descritos anteriormente representan solo un pequeño vistazo de los innumerables esfuerzos de investigación que se llevan a cabo en Penn.

«La misión principal de la universidad es la investigación y la educación», reflexiona Burris. “Nuestros profesores son nuestros campeones. Cualquier cosa que podamos hacer para facilitar su trabajo y permitirles en sus esfuerzos de investigación es claramente una gran victoria «.

La asociación con Dell ayuda a respaldar esta misión vital. «Podría comprar hardware nuevo y más barato, pero no viene con el soporte y los conocimientos que se obtienen con la compra de un producto Dell», concluye Burris. «Dell ofrece productos que funcionan muy bien para nosotros».

Descubra cómo Dell puede ayudarlo a habilitar sus descubrimientos de investigación

Puedes compartir en tu Facebook para que tus amigos lo sepan

??? ? ? ???

Comparte