Panasas potencia ActiveStor con Fat Drives, RAID 6+ - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Panasas potencia ActiveStor con Fat Drives, RAID 6+

Hola, un placer verte por aquí. En el teclado Simón Sánchez y en el día de hoy vamos a hablar sobre Panasas potencia ActiveStor con Fat Drives, RAID 6+

Los discos duros siguen engordando y el tiempo para reconstruir los datos en ellos sigue siendo cada vez más largo. Por eso, los ingenieros del fabricante de conjuntos de discos Panasas han estado trabajando en los últimos años para modificar la protección de datos RAID para que sea más adecuada para sistemas de archivos paralelos a gran escala. Lo más destacado de este trabajo es la nueva funcionalidad RAID 6+ del sistema de archivos paralelos PanFS 6.0, que se lanzó esta semana junto con una actualización de las matrices ActiveStor que verán que se agregarán discos duros mucho más grandes a las máquinas.

Garth Gibson, científico jefe de Panasas, fue uno de los

Con la protección de datos RAID durante mucho tiempo y con muchas variaciones que dividen y dividen los datos de paridad (utilizados para recuperar discos perdidos) de diferentes maneras, puede parecer extraño que Panasas esté hablando de mejorar los algoritmos RAID. Pero en muchos casos, los controladores RAID son cuellos de botella en el rendimiento de la matriz, o no se utiliza la protección RAID y se utilizan métodos de replicación de datos de fuerza bruta. Panasas se conformaría con esto como un desperdicio e invertiría en mejorar la protección de datos RAID, ya que es escalable a arreglos cada vez más grandes.

«Sabemos que el crecimiento de los datos no estructurados está impulsando los requisitos para los arreglos de almacenamiento de próxima generación en la empresa y HPC», explica Faye Pairman, presidente y director ejecutivo de Panasas, y, citando estadísticas, se espera que la compañía El crecimiento de los datos aumentará en un 800% durante los próximos cinco años, «cuatro quintas partes de esos datos no estarán estructurados».

«Creemos que la explosión de datos conduce a una visión diferente de la disponibilidad y confiabilidad», señala Pairman, «HPC siempre está a la vanguardia y hay un deseo casi insaciable de más procesamiento y esto siempre favorece las velocidades de enlace. Ya sea que se trate de HPC tradicional o una empresa de escalamiento horizontal con datos no estructurados, creemos que el tamaño de las implementaciones y el tamaño de las unidades de disco que se utilizan en la actualidad realmente han impulsado la necesidad de un enfoque diferente para la escalabilidad y la disponibilidad. «.

Los arreglos de ActiveStor se diferencian de muchos arreglos de almacenamiento conectados a la red en que la arquitectura del hardware y software es tal que no hay archivadores o controladores de tráfico en la ruta de datos entre los sistemas que requieren los datos y los blades de almacenamiento que son el componente básico de las máquinas ActiveStor. El sistema de archivos es paralelo y las rutas de datos son paralelas, por lo que una hoja puede pasar datos directamente desde una hoja en la matriz de ActiveStor a un nodo del clúster; no hay cuellos de botella.

El problema con las matrices RAID tradicionales (ya sean basadas en disco, flash o una combinación de ambas) es que la confiabilidad disminuye linealmente a medida que escala la matriz. Cuantos más dispositivos tenga, mayor será la probabilidad de falla en un momento dado. Además, en matrices RAID, si se pierden sectores individuales de un disco duro, se debe reconstruir un disco completo. Con la protección RAID 5 y RAID 6, los datos de paridad que se utilizan para reconstruir los archivos perdidos mediante el algoritmo RAID se distribuyen en varias unidades y se utilizan para recrear datos cuando un disco falla (básicamente, se ejecuta el algoritmo que se propaga). un archivo pasa al revés, agregando los datos de paridad para calcular los bits que faltan). Esto está bien siempre que no tenga discos duros de 4 TB o 6 TB, que demoran una eternidad en reconstruirse, y es aún menos práctico cuando tiene cientos o miles de estos discos en una matriz. En cualquier momento, un disco falla y se repara solo y esto afecta el rendimiento de un grupo RAID. En algunas matrices, la pérdida de un grupo RAID significa que todo el sistema de archivos está inactivo y, en el peor de los casos, puede llevar semanas restaurar un sistema de archivos completo. Mientras el sistema de archivos está inactivo, el sistema está inactivo, incluso si solo un archivo es realmente lo único que está dañado.

«No queremos reconstruir una matriz gigante completa solo para recuperar una serie de archivos», explica Pairman. “Y estamos lidiando con la noción de que el sistema está funcionando o no. Hasta ahora, no había ningún proceso para acceder a los archivos no afectados. «

Coincidiendo con el lanzamiento del nuevo PanFS 6.0 hay un conjunto de nuevo hardware, llamado matriz ActiveStor 16. Las nuevas matrices utilizan discos duros UltraStar He6 de HGST (anteriormente una unidad de Hitachi y ahora propiedad de Western Digital). Estas son las primeras unidades de 6 TB del mercado, y este aumento del 50% en la densidad es posible porque el gas helio es menos turbulento que el aire. La menor turbulencia también reduce el consumo de energía del disco duro de 3,5 pulgadas en un 23%.

Los arreglos ActiveStor tienen dos tipos de blades, un blade de almacenamiento y un blade director. Como sugiere el nombre, la hoja de director administra el sistema y también retiene metadatos sobre la ubicación donde se almacenan los archivos en el sistema de archivos paralelo. Con la actualización de ActiveStor 16, Panasas cambia al procesador «Jasper Forest» de cuatro núcleos y 2,53 GHz de Intel más rápido. (Este es un chip hecho para aplicaciones integradas). Esta hoja de director también tiene 48 GB de su propia memoria utilizada como caché de metadatos, y esta capacidad adicional de CPU y memoria ayuda a mejorar las reconstrucciones de RAID, así como el servicio de archivos pequeños y el rendimiento de metadatos.

Los blades de almacenamiento ActiveStor 16 tienen los componentes del tamaño adecuado para las unidades de 6TB más grandes, con una unidad de estado sólido de 240GB más grande para servir archivos pequeños y metadatos, y optimizada para ejecutar RAID6 +. La hoja de almacenamiento tiene una versión de un solo núcleo del procesador Intel Jasper Forest y tiene 8 GB de su propia memoria que se usa como caché más dos unidades de 6 TB. Un estante de 4U de arreglos ActiveStor 16 tiene 122,4 TB de capacidad y 1,5 GB / seg de ancho de banda en sus 20 blades de almacenamiento. Puede combinar hasta 100 estantes, con hasta 2000 discos y 1000 SSD, en un único espacio de nombres global que cubre 12 PB de capacidad y proporciona 150 GB / seg de ancho de banda desde el sistema de archivos PanFS.

Con RAID 6, dos copias de los datos de paridad utilizados para reconstruir un disco duro fallido se distribuyen en el grupo RAID. Con la protección RAID 6+ de triple paridad de Gibson y sus colegas de Panasas, las tres copias de los datos de paridad permiten la protección contra dos fallas simultáneas de unidades y fallas de un solo sector en varias unidades. Esto es aproximadamente 150 veces más confiable que los enfoques de doble paridad en matrices RAID, explica Geoffrey Noer, director senior de marketing de productos de Panasas. El algoritmo RAID 6+ da como resultado una sobrecarga de capacidad de aproximadamente el 25 por ciento, en comparación con aproximadamente el 18 por ciento con la mayoría de los controladores RAID 6 de paridad dual, según Noer.

Si bien RAID 6+ de triple paridad es importante, también lo es el RAID distribuido por archivo que forma parte del nuevo PanFS 6.0. Con esta función, el proceso de reconstrucción se escala linealmente con la cantidad de directores en todo el sistema de archivos paralelo y, lo que es más importante, cuantas más unidades tenga, menos dramáticas deben ser las medidas de recuperación. A continuación, se muestra una visualización para ilustrar cómo la recuperación es menos dolorosa cuando fallan tres unidades en una matriz con veinte unidades en comparación con una con solo diez unidades:

En una matriz RAID 6 tradicional con diez unidades fijas y un controlador RAID, si se pierden tres unidades, se deben restaurar todos los archivos. En una matriz ActiveStor que ejecuta el software PanFS, a medida que aumenta las unidades, el porcentaje de archivos que deben restaurarse disminuye a medida que los datos se distribuyen más en el número creciente de unidades. Entonces, por ejemplo, Panasas afirma que en un ActiveStor con 40 unidades, tres errores de disco podrían significar tener que restaurar un pequeño porcentaje de los archivos, pero cuando se reduce a 2000 unidades, compartir los archivos que necesitan ser restaurados se acerca mucho a cero. Según Noer, en una matriz con 1000 unidades, será necesario recuperar aproximadamente uno de cada 200 millones de archivos después de una falla de tres discos. Además, gracias a la función de disponibilidad extendida del sistema de archivos en PanFS, normalmente puede acceder a todos los archivos que no se ven afectados por un evento de falla de tres unidades. Los archivos muertos deben recuperarse de los datos de paridad RAID o de un archivo.

«Un sistema de archivos que es diez veces más grande se reconstruye a sí mismo diez veces más rápido», dice Noer, proporcionando una regla general. «Esto es importante porque si tiene diez veces la cantidad de unidades, pero la reconstrucción es una décima parte del tiempo, el riesgo sigue siendo el mismo». Al agregar RAID distribuido por archivo, cambiar el tamaño del sistema de archivos en un factor de diez en realidad aumenta la confiabilidad de los datos en el sistema de archivos en un factor de mil.

Aquí está el precio de los arreglos ActiveStor 14 y 16:

Panasas está tomando pedidos de sistemas ActiveStor 16 ahora y planea comenzar a enviar el sistema de archivos PanFS y los nuevos arreglos en septiembre. PanFS 6.0 estará disponible para los clientes que utilicen sistemas ActiveStor 11, 12 y 14 (no había generación 13) cuyos sistemas están sujetos a contratos de mantenimiento vigentes. PanFS 6.0 se proporciona de forma predeterminada en las matrices ActiveStor 16.

Deberías compartir en tus redes sociales para que tus colegas lo disfruten

??? ? ? ???

Comparte