Lustre cuenta con el respaldo de una empresa sin ánimo de lucro - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Lustre cuenta con el respaldo de una empresa sin ánimo de lucro

Hola, ¿qué tal colega?. Te escribe Simón Sánchez y hoy te voy a hablar sobre Lustre cuenta con el respaldo de una empresa sin ánimo de lucro

Algunas de las organizaciones líderes en la comunidad HPC se han unido para iniciar una empresa sin fines de lucro dedicada a tecnologías de sistemas de archivos escalables. El martes, Cray, Data Direct Networks, Lawrence Livermore National Laboratory (LLNL) y Oak Ridge National Laboratory (ORNL) anunciaron la incorporación de Open Scalable File Systems, Inc. (OpenSFS). El grupo recién formado se ha establecido como un punto focal para el desarrollo de Lustre y otras tecnologías de sistemas de archivos de código abierto destinadas a la informática de alto rendimiento.

Según Norman Morse, director ejecutivo de OpenSFS, la misión de la organización es reunir a las partes interesadas para obtener sistemas de archivos escalables de alta gama y proporcionar un marco formal para hacer avanzar el software asociado. Hoy, este esfuerzo se centrará en Lustre, el sistema de archivos paralelo de código abierto convertido en HPC. El repositorio de fuentes de Lustre está actualmente en manos de Oracle, que heredó la tecnología cuando adquirió Sun Microsystems (que a su vez adquirió Lustre un año antes de que fuera absorbido). Dado que Oracle se centrará en el desarrollo posterior a Lustre 2.0 en OpenSolaris y sus productos de base de datos, Lustre para HPC basada en Linux se ha dejado en manos de un grupo diverso de proveedores, laboratorios de investigación e instituciones académicas que tienen una necesidad común de ver la tecnología. seguir adelante .

El papel de OpenSFS será recopilar requisitos de las partes interesadas de HPC, priorizarlos y luego financiar los esfuerzos para implementarlos. «Desarrollaremos conjuntos de características importantes para toda la comunidad, en el contexto de OpenSFS, y luego, con el tiempo, esos conjuntos de características volverán a la versión canónica de Lustre», dice Galen Shipman, líder del grupo de integración de tecnología en Oak Ridge National Laboratory y miembro del tablero de OpenSFS.

Ese modelo es más o menos el mismo que antes, antes de que Oracle verificara el código Lustre. La lógica es volver a incluir todas las correcciones y mejoras de software en el repositorio de origen oficial de Lustre, para evitar la posibilidad de que múltiples (e incompatibles) implementaciones deambulen por el ecosistema. «Nos negamos absolutamente a bifurcar el sistema», dice Morse. «Pretendemos que Oracle sea la definición canónica de Lustre».

El objetivo inicial de OpenSFS será respaldar y estabilizar los sistemas de almacenamiento Lustre existentes basados ​​en Linux en producción en instalaciones de HPC en todo el mundo. Esto es especialmente crítico para la variedad de laboratorios del Departamento de Energía de EE. UU., Que tienen implementados sistemas de almacenamiento Lustre muy grandes e incluso los más grandes en la mesa de dibujo. El objetivo a largo plazo de OpenSFS es transformar Lustre y sus tecnologías de archivos paralelos en algo que admita la transición a sistemas de exaescala varios años después.

Los requisitos para las nuevas funciones surgirán de los grupos de trabajo técnicos organizados por OpenSFS, y las mejoras que se consideren más importantes se impulsarán como RFP para la comunidad. Como entidad sin fines de lucro, OpenSFS no hará el desarrollo solo, pero es probable que los proveedores que tienen experiencia agregada en Lustre (Whamcloud, Terascala, Xyratex, SGI, Cray, DataDirect Networks y otros) presenten ofertas por estos contratos. .

Los fondos para este trabajo provendrán de las cuotas de membresía de OpenSFS, que dependiendo del compromiso de su organización con este compromiso pueden ser bastante costosas. Hay tres niveles diferentes: el nivel de promotor cuesta $ 500K por año, lo que le otorga un asiento en el tablero de OpenSFS; el nivel de compañero de trabajo / adoptante cuesta $ 50,000 y le permite administrar un grupo de trabajo; finalmente, por $ 5K al año puede convertirse en miembro de apoyo, lo que le permite unirse al grupo de trabajo. Como puede imaginar, cuanto más arriba en la cadena alimentaria de los miembros, mayor será la influencia en el trabajo que se financia.

Debido a que el desarrollo y las pruebas de Lustre requieren un procesamiento y almacenamiento a gran escala, los laboratorios nacionales, como Lawrence Livermore y Oak Ridge, brindarán soporte para este desarrollo iniciado por OpenSFS, que ya cuentan con los recursos para este tipo de trabajo. En LLNL, el sistema Hyperion está disponible en la red no clasificada del laboratorio como un banco de pruebas para escalar diferentes tipos de tecnologías de clúster de Linux. Durante el año pasado, Sun Microsystems (y más tarde Oracle) ha estado utilizando la máquina para su desarrollo Lustre 2.0. Asimismo, Oak Ridge tiene su propio banco de pruebas de sistemas de almacenamiento de varios proveedores para el acceso de desarrolladores. Gran parte del trabajo de escalado SMP para Lustre se desarrolló y probó en ORNL. Otros laboratorios de investigación, tanto en los Estados Unidos como en otros lugares, pueden terminar donando sus recursos de HPC para el desarrollo de Lustre, especialmente si buscan liderar el desarrollo de sistemas de archivos específicos para sus propios programas.

Morse dice que los miembros ya están haciendo cola para unirse a la alianza. Según él, más de 20 organizaciones – proveedores, universidades y laboratorios gubernamentales – están listas para firmar (aunque no dijo en qué niveles de membresía). Tan pronto como se finalicen algunos aspectos legales de la incorporación de OpenSFS, comenzarán a incorporarlos. Morse planea atraer de 50 a 60 organizaciones al vecindario.

Para ayudar con este proceso, OpenSFS organizará una reunión de organización introductoria el próximo mes en conjunto con la Conferencia de Supercomputación (SC10) en Nueva Orleans. Aunque ya era demasiado tarde para reservar una sesión en la SC10 propiamente dicha, la reunión se desarrollará paralelamente a las celebraciones de la conferencia. La reunión está programada tentativamente para el martes 16 de septiembre en el Ritz Carlton. La información de registro pronto estará disponible en el sitio web de OpenSFS.

Recuerda compartir en en tu Twitter y Facebook para que tus colegas lo sepan

??? ? ? ???

Comparte