Ráfaga de búfer Flash potencial de exascala - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Ráfaga de búfer Flash potencial de exascala

Hola y mil gracias por leerme. Soy Simón Sánchez y esta vez hablaremos sobre Ráfaga de búfer Flash potencial de exascala

Para cualquier centro de datos a gran escala, ya sea una supercomputadora científica o una granja web de hiperescala, las constantes batallas de «E / S defensivas» y «E / S ofensivas» afectan la eficiencia y productividad generales. Desde los puntos de control hasta la mejora del rendimiento en aplicaciones de larga duración, un conjunto de tecnologías se están abriendo paso a la vanguardia. El concepto de «búfer de ráfagas», como lo llamó Gary Grider del Laboratorio Nacional de Los Alamos hace cinco años, apunta tanto a enfrentar problemas de E / S como a demostrar su valía a gran escala.

A pesar de que no es un concepto nuevo, el ruido alrededor de los búferes de ráfagas ha aumentado, especialmente en la feria de supercomputación en noviembre pasado, donde numerosos proveedores, desde DDN, EMC, NetApp y otros, demostraron sus productos en forma de matrices llamativas con procesamiento integrado para manejar ambos punto de control de esa recuperación, además de mejorar el rendimiento y la eficiencia de la aplicación. La promesa es multifacética; Además de servir como una opción de almacenamiento pura, estos nodos dedicados con flash + computación también pueden hacer que el almacenamiento sea más inteligente y más activo, hasta el punto en que esta capa se integra en el flujo de trabajo general en términos de capacidad y computación. .

«Todo esto se basa en pura economía», dijo Grider. «Y predijimos que todo esto sucedería hace varios años cuando hicimos nuestro primer análisis de hoja de cálculo que mostró lo que estaba sucediendo con el ancho de banda y la capacidad en unidades de disco versus flash». El informe, que se puede encontrar aquí, básicamente mostró que incluso entonces, en 2009, en este momento habría sido mucho más barato actualizar el punto de control y moverlo al disco más tarde.

Vale la pena señalar que Grider fue perfecto durante su análisis económico original en 2009 con respecto a dónde podría ir esto. El gráfico original a continuación muestra la trayectoria esperada:

A pesar de algunas fluctuaciones de precios flash, la tendencia general es a la baja, lo que empuja esa posibilidad, incluso si no son solo los centros de datos a gran escala los que tienen un camino más barato hacia un punto de control confiable. A medida que el equipo continuó investigando los búferes de ráfagas para abordar la confiabilidad, quedó claro cuántos otros usos eran posibles con flash y computación en un conjunto de nodos dedicado. Desde la depuración hasta el análisis de datos, la inserción de módulos de carga dinámica y más, Grider y otros investigadores han comenzado a ver la luz, el espectro completo de eso. Desde entonces, gran parte de su carrera se ha dedicado a hacer avanzar el mensaje de búfer de ráfagas, pero no sin algunas advertencias.

A medida que se avanza en la investigación hacia la idea, Grider y otros esperan que sea aún más práctico ver los búferes de ráfagas de supercomputadoras como algo más que dispositivos de almacenamiento y puntos de control. Eventualmente, como su trabajo pendiente sobre archivo Avance rápido de E / S a exaescala revela el programa, será posible enviar la función con los datos que se transfieren al búfer ráfagas, lo que significa que toda esa estructura que le da un significado más profundo y la posibilidad de inactivar los datos de lo contrario ya no será eliminada del bit serial de las tendencias del sistema de archivos . En cambio, un paradigma de software complejo (y aún inmaduro) permitirá a los usuarios aprovechar los nodos activos e inteligentes de la ráfaga de búfer para administrar ejecutables inactivos entre volcados de datos.

El gráfico de Grider que muestra cómo se desarrolla esto económicamente (y hasta cierto punto, prácticamente) en uno de los sistemas más nuevos, Trinity, agrega contexto del mundo real a lo que se necesita (sin mencionar lo posible).

Si bien esto tiene sentido en Trinity y los futuros niveles del sistema de exaescala y exaescala, estas mismas economías no se traducen exactamente en el mundo más amplio. «Esto no es para todos», dijo Grider sin rodeos. «Este es el mayor malentendido, que a menudo conduce a la mayoría de las preguntas». Señala que si bien a la comunidad de proveedores y ahora a las masas tecnológicas en general se les dice que los búferes de ráfaga pueden resolver los problemas del mundo. En pocas palabras, a menos que sea a gran escala, invertir en búfer de ráfagas para el punto de control general a menudo no es económicamente viable ya que muchos más nodos significan muchas más fallas (y muchos más puntos de control se detienen). Además, muchas tiendas de TI más pequeñas no tienen que lidiar con vertederos de varios terabytes (o petabytes lo suficientemente pronto) para que sea razonable. Sin embargo, si están aprovechando el componente activo de un enfoque de almacenamiento inteligente (es decir, aprovechando la computación en los nodos), podría ser útil. Instó a tener precaución al respecto, pero señaló que no es ciencia de cohetes averiguar si se beneficiará de ello, especialmente para el puesto de control.

Otro conjunto de preguntas que Grider dice que a menudo se encuentra gira en torno a dónde deberían vivir los búferes de ráfagas. Su respuesta habla más sobre cómo será la próxima generación de nodos de supercomputación cuando se resuelvan los problemas de software, que probablemente serán servidores pesados ​​que ejecutan las mismas tareas de almacenamiento activas e inteligentes. Actualmente, sin embargo, residen en un conjunto separado de nodos dentro de la supercomputadora ya que la centralización minimiza la complejidad. Tener un flujo más integrado entre flash, computación, disco y aplicaciones probablemente llevará alrededor de 5 años o más, dice Grider. Pero una vez mas su trabajo de investigación actual (así como el trabajo de otros en el lado de la programación) aborda algunos de estos. Sin embargo, en comparación con los otros desafíos de software que necesita la exaescala, señala, resolver el problema del búfer de ráfagas pequeñas no es nada.

Los laboratorios financiados por el gobierno están recibiendo el mensaje de E / S económica, por lo menos. Como nos dijo Grider, esta es realmente la primera vez que una ronda de RFP se ha centrado en algo más que en el cálculo y la capacidad. El almacenamiento y el movimiento de datos son partes activas de la discusión, lo que no es de extrañar ya que se pierde mucha productividad debido a las averías y, en este caso, a los puntos de control y al dumping necesarios para que sean menos dolorosos.

«Los volcados que estamos haciendo en los sistemas ahora son del orden de cientos de terabytes. En aproximadamente dos años, muchas máquinas lo harán en el rango de 2-5 petabytes. Si lo volcamos incluso en el tamaño actual, estamos hablando de más de uno. ahora para volcar toda la memoria, y eso es cada cuatro horas aproximadamente. Eso significa que cada cuatro horas ha perdido una hora o más, y en última instancia, es el 25% de la máquina que no se utiliza para la ciencia. argumento de la economía real sólo para el punto de control «, dijo.

Como se informó esta semana, el nuevo sistema NERSC-8 «Cori» tenía una opción para un búfer de ráfagas integrado para explorar estas posibilidades y la otra mitad de la RFP conjunta (el sistema Trinity) tiene el mismo objetivo de impulsar el 90% de eficiencia. Dado que esto no se puede hacer agregando núcleos y reduciendo la energía, minimizar el impacto del punto de control y, en última instancia, aprovechar ese tiempo entre ráfagas haciendo un trabajo significativo en los datos que de otro modo estarían inactivos promete un impulso significativo.

Tal como nos dijeron Nick Wright y Katie Antypas esta semana durante el anuncio del sistema NERSC-8 (bueno, «Cori»), que era la otra cara de esta RFP (el anuncio de Trinity se espera para finales de este año) , esto probablemente será un componente de los sistemas de exaescala en el futuro. Hay mucho trabajo por hacer en el software, que decidirá dónde residen y cómo interactúan con el sistema de archivos. Mientras tanto, a medida que Grider y muchos otros integran la próxima generación de Lustre con esto en mente, esperamos noticias de qué proveedores están impulsando las ráfagas de búfer y cuál será la historia de la máxima eficiencia.

No te olvides compartir en tus redes sociales para que tus amigos opinen

??? ? ? ???

Comparte