Ejecute cargas de trabajo de Big Data y HPC en cualquier lugar - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Ejecute cargas de trabajo de Big Data y HPC en cualquier lugar

Hola otra vez. Te escribe Simón Sánchez y hoy vamos a hablar sobre Ejecute cargas de trabajo de Big Data y HPC en cualquier lugar

Un problema clásico en el desarrollo de software es la forma en que administra las dependencias de las aplicaciones de software. Esto se extiende desde el momento en que se programa la aplicación hasta el momento en que se ejecuta o implementa. La aplicación típica casi siempre depende de versiones específicas de bibliotecas, compiladores o el sistema de administración de paquetes a nivel del sistema operativo.

Las organizaciones que implementan cargas de trabajo de big data y HPC buscan soluciones que puedan diseñarse y desarrollarse una vez, y luego implementarse en cualquier lugar, a cualquier escala y en cualquier tecnología disponible sin ningún ajuste manual o pasos de instalación.

Para trabajar con conjuntos de datos estrictamente regulados mezclados y distribuidos en diferentes implementaciones y entornos (como en los sectores financiero, gubernamental y sanitario), las aplicaciones deben ser independientes de la infraestructura y las tecnologías particulares de las nubes públicas y privadas y poder utilizar ambas. .

Las cargas de trabajo de procesamiento de datos se benefician de recursos informáticos públicos abundantes y económicos, pero los proyectos de HPC generalmente necesitan navegar por las regulaciones que requieren el aislamiento de las operaciones de la infraestructura local y privada.

Si queremos hacer un dibujo de las posiciones geográficas de los principales operadores de nube en el mercado, podemos reconocer que las posiciones son bastante pocas. Esto significa que gran parte del tráfico de Internet de la nube llega y proviene de un puñado de ubicaciones, casi todas concentradas en los países occidentales del mundo.

El Internet de las cosas, sin embargo, ha anticipado el surgimiento de tecnologías cada vez más móviles e independientes de la ubicación, y está experimentando una rápida adopción en lugares donde sus beneficios pueden obtenerse de manera más evidente: áreas y países que carecen de infraestructuras tradicionales y establecidas para las TIC. En otras palabras, países no occidentales.

Más recientemente, la adopción de la nube se ha centrado en modelos de implementación de nube pública y privada, basados ​​en las formas tradicionales aceptadas de computación en la nube. La siguiente etapa en este proceso, sin embargo, es el paradigma de la nube híbrida y la necesidad de descentralizar nuestras aplicaciones en mayor medida que las formas más centralizadas de implementaciones de nube pública o privada a las que estamos acostumbrados. Este nuevo paradigma de la nube facilitará el aprovisionamiento o la configuración de una infraestructura en la nube como una máquina Linux de caja blanca normal con la ayuda de tecnologías basadas en contenedores como Docker y CoreOS.

Este tipo de enfoque descentralizado no es nuevo. SETI (el proyecto «Búsqueda de inteligencia extraterrestre») comenzó a acumular grandes cantidades de conjuntos de datos en la década de 1980, pero carecía de los recursos y la tecnología para procesarlos. En respuesta, en la década de 1990 desarrollaron una aplicación descargable gratuita para el público y utilizaron la «infraestructura» privada de los usuarios (la potencia informática no utilizada de las computadoras de escritorio) como nodos de procesamiento de datos para el proyecto.

Por supuesto, la tecnología ha avanzado mucho desde entonces.

CoreOS y Docker son los compañeros perfectos para implementar este tipo de arquitectura híbrida distribuida e interoperable. Hadoop es un ejemplo de una solución que se puede contener bien en un sistema como este para facilitar la implementación y automatizar la instalación. Los contenedores pueden reducir la sobrecarga que hace que las máquinas virtuales tradicionales sean una solución inadecuada para HPC. La arquitectura CoreOS simplificada y la estructura del contenedor Docker se complementan entre sí en un sistema de entrega de aplicaciones bien optimizado, con soluciones de almacenamiento distribuido subyacentes, como el sistema de archivos distribuidos de Hadoop, HDFS.

Además de las tecnologías centrales de contenerización, hay proyectos interesantes que muestran una gran promesa y se alinean muy bien con las soluciones distribuidas. Kubernetes puede administrar clústeres de contenedores de Linux como un solo sistema, y ​​Apache Mesos proporciona un kernel distribuido para abstraer los recursos informáticos para crear sistemas distribuidos resistentes y tolerantes a fallas.

Con menos gastos generales, acceso al aprovisionamiento bare metal y un conjunto completo de tecnologías para integrar aplicaciones en un entorno distribuido y escalable, las nubes híbridas de próxima generación se convertirán en un entorno deseado para HPC que ve la eficiencia de los recursos como una ventaja crucial.

A pesar de que estos diseños son todavía muy jóvenes, muestran una gran promesa de poder entregar esto de una manera muy simple y elegante. Pueden operar tanto en entornos de nube pública como privada y escalar en ambos para maximizar el rendimiento y la eficiencia.

Esta tendencia está llevando a una consolidación de diferentes tipos de cargas de trabajo de TI, como aplicaciones de Big Data y HPC, hacia una arquitectura de nube distribuida de próxima generación. En última instancia, el resultado final que esta tecnología puede ofrecer es una «nube de nube» vasta, global e interconectada y la capacidad de implementar aplicaciones sin problemas utilizando la contenedorización a nivel mundial.

Procedentes de un mundo de código abierto y ampliamente desarrollado (y utilizado) en entornos de investigación, no muy diferente de la historia temprana de UNIX / Linux, estas nuevas tecnologías permiten un campo de juego mucho más uniforme y un mercado abierto. El fácil acceso a los componentes de software estandarizados facilitará la configuración de una infraestructura en la nube como una máquina Linux normal de caja blanca.

Además, gracias a las tecnologías que están estandarizadas tanto por productos básicos como por industria, las aplicaciones de procesamiento de datos grandes y HPC se pueden implementar con el clic de un botón o un comando simple en una amplia variedad de infraestructuras que van desde máquinas virtuales hasta bare metal, desde implementaciones de nube privada a pública o clústeres locales especializados. Los desarrolladores y empresas de HPC podrán crear aplicaciones empaquetadas y en contenedores que se pueden ejecutar a cualquier escala, maximizando la eficiencia de los recursos disponibles.

Acerca de Tryggvi Lárusson, cofundador y director de tecnología

Tryggvi es un experto en arquitectura de aplicaciones web empresariales, especializado en sistemas de almacenamiento y redes para hardware y entornos virtualizados. En GreenQloud, se centra en permitir la convergencia entre el desarrollo de aplicaciones en la nube y las operaciones de sistemas. Antes de fundar GreenQloud, Tryggvi fue cofundador, director técnico y presidente de Idega Software, proporcionando soluciones web para la administración electrónica. Estudió ingeniería de software de sistemas distribuidos en el Royal Institute of Technology de Suecia e ingeniería informática y eléctrica en la Universidad de Islandia.

Deberías compartir en tu Facebook para que tus colegas lo flipen

??? ? ? ???

Comparte