Trabaje de forma más inteligente, no más difícil: Platform Analytics facilita el análisis de su infraestructura de HPC - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Trabaje de forma más inteligente, no más difícil: Platform Analytics facilita el análisis de su infraestructura de HPC

Hola, un placer verte por aquí. Te escribe Simón Sánchez y en esta ocasión te voy a contar sobre Trabaje de forma más inteligente, no más difícil: Platform Analytics facilita el análisis de su infraestructura de HPC

Por: Gord Sissons, director de marketing de productos, Platform Computing

Los centros de datos de Computación de alto rendimiento (HPC) son el crisol de la innovación y han experimentado avances como la computación en clúster distribuida, las técnicas de programación paralela y la planificación inteligente de la carga de trabajo. Si bien los centros de datos de HPC modernos operan a niveles de eficiencia más altos que sus contrapartes comerciales, siempre se deben procesar volúmenes más altos de datos complejos en menos tiempo, lo que genera desafíos adicionales para los administradores de centros de datos. Estos desafíos incluyen la gestión de avances rápidos de hardware y software; presupuestos limitados o en ocasiones reducidos; y la necesidad de equilibrar las demandas de los equipos de proyectos en competencia con las prioridades cambiantes.

Para aumentar la eficiencia, la mayoría de los centros de datos de HPC recurren a los administradores de cargas de trabajo, que permiten que los recursos se compartan entre los usuarios y los equipos de proyectos según las políticas. Sin embargo, aunque los administradores de cargas de trabajo son buenos para hacer cumplir las políticas; no pueden determinar cuáles deberían ser tales políticas, y después de proporcionar esta «fruta de flujo bajo» en ganancias de eficiencia, las mejoras adicionales se vuelven progresivamente más difíciles.

La clave de la eficiencia radica en brindar mejor información a los altos ejecutivos y tomadores de decisiones, lo que a su vez les ayuda a tomar mejores decisiones. Para analizar la eficacia de un entorno HPC, es importante recopilar información sobre la infraestructura (modelos de host, capacidades, redes, tipos de sistemas operativos); cómo se utiliza la infraestructura (tipos de aplicaciones, patrones de uso de recursos); configuraciones de grupos y colas (composición, criterios de planificación); estadísticas de trabajos (tiempos de ejecución, tiempos de espera, tasas de error, uso de recursos); proyectos, usuarios y grupos; inventarios de licencias y patrones de uso.

Transformando datos en conocimiento

Los administradores de cargas de trabajo simplifican los informes al recopilar y agregar datos en tablas de bases de datos; los desafíos persisten. Incluyen:

  • Es posible que los sistemas de informes no incorporen todas las fuentes de datos, lo que hace imposible responder algunas preguntas;
  • Los informes y las estructuras de datos subyacentes son fijos para que los usuarios solo puedan hacer preguntas que el esquema de la base de datos está diseñado para responder rápidamente; es
  • Desarrollar y mantener administradores de cargas de trabajo también puede ser costoso, y responder a una nueva demanda podría llevar un tiempo de desarrollo significativo.

Al evaluar las herramientas de análisis y visualización para sus centros de datos de HPC, las organizaciones deben evaluar las soluciones utilizando los siguientes criterios:

Optimización de recursos para controlar costos: Al comprender exactamente cómo se utilizan los recursos, por quién y con qué propósito, las políticas de planificación se pueden ajustar para proporcionar una mejor utilización y eficiencia general. Al transformar los datos sin procesar en información procesable, las tendencias y los cambios en los patrones de uso se hacen evidentes rápidamente. Al visualizar cómo la necesidad de diferentes aplicaciones y plataformas está cambiando con el tiempo por proyecto o departamento, los planificadores pueden tomar decisiones basadas en datos de mejor calidad más rápidamente. Pueden consolidar los recursos infrautilizados y garantizar que los nuevos gastos se alineen de manera óptima con las necesidades del negocio.

Visibilidad completa de las operaciones del centro de datos de HPC: Los analistas pueden probar y validar constantemente los supuestos de planificación y hacer correcciones intermedias según sea necesario. Con las herramientas de análisis adecuadas, pueden garantizar que se cumplan los SLA y que los proyectos críticos para el negocio tengan amplios recursos. Al analizar medidas clave como el tiempo de espera y el rechazo de licencias en diferentes dimensiones de datos, los administradores y analistas pueden estar seguros de que los usuarios tienen acceso a recursos críticos cuando los necesitan, pero a un costo mínimo.

Capacidad para identificar cuellos de botella: Al analizar la utilización de recursos y los niveles de servicio en conjunto, los administradores identifican rápidamente los retrasos que afectan la productividad. Al comprender las causas subyacentes en lugar de solo los síntomas, los problemas de capacidad y rendimiento se pueden resolver rápidamente, a menudo sin costos incrementales.

Usabio reporting e Chargeback uncontar: A algunas organizaciones les gusta distribuir los costos entre los departamentos de los clientes en función del uso medido de los recursos. Al combinar datos de recursos, licencias y nivel de trabajo, los administradores pueden monitorear y ver el uso de recursos por usuario, departamento o proyecto. La rica funcionalidad del software de análisis puede hacer posible implementar sofisticadas soluciones de contabilidad de contracargos adaptadas a las necesidades de la organización.

La ventaja de Business Intelligence

Un buen enfoque para analizar la infraestructura de HPC es el uso de tecnología de procesamiento analítico Online (OLAP) ampliamente utilizada en aplicaciones de inteligencia empresarial. Los cubos OLAP almacenan mediciones en múltiples dimensiones de datos, lo que permite analizar y manipular la información rápidamente desde múltiples perspectivas.

La superioridad de este enfoque analítico ha llevado a los proveedores de HPC a ofrecer soluciones de análisis de infraestructura basadas en OLAP, incluido Platform Analytics de Platform Computing. El principal desafío de OLAP es la enorme cantidad de datos que deben recopilarse, procesarse y analizarse. Dependiendo de factores como los volúmenes de datos y las políticas de retención, los volúmenes de datos pueden crecer enormemente. Los conjuntos de datos de varios terabytes son comunes.

Análisis de eficiencia con tecnología Rational OLAP

Si bien OLAP es el mejor enfoque para analizar la efectividad de los entornos HPC, su uso generalmente se limita a centros de datos más grandes debido al costo y la complejidad asociados. Afortunadamente, las innovaciones recientes, incluida la tecnología OLAP relacional (ROLAP) y las bases de datos rápidas orientadas a columnas, ahora brindan los medios para abordar estas limitaciones, lo que hace que la analítica avanzada sea práctica incluso para los entornos HPC más pequeños.

La tecnología ROLAP es una alternativa al OLAP multidimensional tradicional que evita el pre-cálculo y almacenamiento de información en formatos intermedios. Más bien, realiza lo mismo funcionalmente con consultas SQL estándar. Esto permite a los administradores y analistas del centro de datos realizar un análisis multidimensional integral mientras se evita el costo y la complejidad de los cubos previos a la construcción. Con las soluciones basadas en ROLAP, los usuarios tienen acceso instantáneo a sus datos sin tener que esperar a la creación de mercados de datos y cubos intermedios que involucran un proceso ETL de varios pasos que consume muchos recursos.

Bases de datos paralelas orientadas a columnas

Otro facilitador son los nuevos tipos de bases de datos orientadas a la red que utilizan estrategias organizativas basadas en columnas para el almacenamiento de datos. Debido a que este enfoque implica leer columnas en lugar de filas, las lecturas se pueden paralelizar y distribuir entre múltiples hosts de cómputo en un clúster, lo que es posible gracias a la independencia de las columnas entre sí. Con la replicación de datos adecuada para garantizar la integridad, las bases de datos en columnas se pueden implementar utilizando un modelo de «nada compartido» y se pueden implementar en hosts de procesamiento comunes. Escalar el rendimiento de la base de datos se convierte en una cuestión de simplemente agregar hosts.

También es posible un mayor grado de compresión de datos porque las columnas de datos son homogéneas y se almacenan juntas. Una mejor compresión reduce tanto los requisitos de almacenamiento de datos como los tiempos de transferencia de datos. Sin embargo, una vez que un servidor de base de datos se agota, resulta difícil y costoso escalarlo. Los arquitectos de bases de datos a menudo deben utilizar tecnología de agrupación en clústeres o soluciones SAN costosas para aumentar la capacidad.

Para ilustrar las mejoras de rendimiento, Platform Computing probó una base de datos relacional tradicional frente a una base de datos orientada a columnas y descubrió que la carga de 11 millones de registros se midió 13 veces más rápido utilizando una base de datos orientada a columnas. Más significativamente, se midió que el rendimiento de consultas en conjuntos de datos que van desde 15 millones a mil millones de registros es de 78 a 100 veces más rápido, una mejora de dos órdenes de magnitud.

Plataforma analítica

Aprovechando estos avances y proporcionando una nueva y poderosa interfaz de usuario, Platform Computing ha desarrollado una plataforma de análisis e informes que es más simple, más poderosa y menos costosa de implementar y mantener que las soluciones de análisis de la competencia. Esto significa que incluso los entornos HPC más pequeños pueden beneficiarse ahora de los conocimientos que pueden proporcionar las herramientas de análisis avanzadas.

Platform Analytics 8 es una herramienta de análisis y visualización de próxima generación para Platform LSF. Permite a los analistas y gerentes responder preguntas de toda la empresa de forma rápida y sencilla agregando datos de uso de trabajo, recursos y licencias de múltiples clústeres, lo que aumenta la productividad y permite la toma de decisiones basada en datos.

A diferencia de las soluciones de análisis que requieren una gran manipulación de datos para representar datos en una forma utilizable, Platform Analytics 8 incorpora una herramienta de visualización ROLAP de última generación. También presenta varios «tableros de control» prediseñados para entregar información a diversas audiencias, incluidos usuarios, gerentes de proyectos, personal de TI, administradores y ejecutivos de línea de negocios. Con Platform Analytics, los administradores de clústeres pueden «analizar» datos detallados para examinar la efectividad de las políticas de uso compartido de recursos, mientras que los ejecutivos pueden enfocarse en indicadores clave de desempeño relevantes y métricas de costo, productividad y utilización.

Resumen

A medida que los entornos HPC aumentan en complejidad, se vuelven cada vez más difíciles de comprender por completo para los analistas, gerentes y planificadores de negocios. Las pequeñas ineficiencias tienden a acumularse y multiplicarse con el tiempo, lo que genera costos, ralentiza la identificación y resolución de problemas y reduce la productividad.

Al aplicar métodos analíticos modernos que fueron pioneros por primera vez en inteligencia empresarial, los gerentes y analistas de HPC pueden obtener nuevos conocimientos valiosos sobre sus entornos. Platform Analytics 8 aprovecha estos avances recientes para proporcionar capacidades analíticas enriquecidas para Platform LSF. Con mejores herramientas, los gerentes y planificadores tienen acceso a información de mayor calidad más rápido. Con mejor información, pueden «trabajar de manera más inteligente» al obtener ganancias en eficiencia y productividad mientras mantienen bajos los costos.

Este artículo se basó en «Trabajar de forma más inteligente, no más difícil, ¿es más fácil decirlo que hacerlo?» Papel blanco. El libro blanco completo está disponible para descargar aquí (es necesario registrarse).

###

Puedes compartir en en tu Twitter y Facebook para que tus amigos lo consulten

??? ? ? ???

Comparte