NumaQ: un dispositivo de análisis de big data y computación en memoria escalable - Calendae | Informática, Electrónica, CMS, Ciberseguridad

NumaQ: un dispositivo de análisis de big data y computación en memoria escalable

Hola otra vez. En el teclado Simón Sánchez y en el día de hoy te voy a contar sobre NumaQ: un dispositivo de análisis de big data y computación en memoria escalable

NumaQ representa una nueva generación de dispositivos de análisis en memoria que escalan hasta miles de núcleos y terabytes de memoria para cargas de trabajo de datos y memoria intensiva.

Numascale ofrece un enfoque innovador para el análisis de big data al proporcionar funcionalidad en memoria a través de los sistemas NumaQ. NumaQ, desarrollado por 1degreenorth, utiliza la tecnología de memoria compartida escalable de Numascale para ofrecer una nueva generación de capacidades de análisis en memoria de alto rendimiento que brindan el poder de un clúster combinado con la simplicidad de un escritorio.

NumaQ es el sistema de memoria compartida x86 de última generación de 1degreenorth diseñado específicamente para el análisis en memoria de big data. El sistema utiliza servidores de alta calidad, conectados con la estructura escalable NumaConnect SMP de Numascale y un sistema operativo Linux optimizado. Los ingenieros de 1degreenorth integraron el popular entorno de programación estadística de código abierto R de Revolution Analytics con NumaManager de Numascale para proporcionar una experiencia similar a la de un escritorio en un sistema de clúster de productos básicos, con cientos de núcleos y terabytes de RAM fácil de administrar. y use.

Diseñado y diseñado específicamente para el análisis de macrodatos en memoria, NumaQ acelera el procesamiento al proporcionar un conjunto de dispositivos optimizados. El dispositivo de análisis en memoria es compatible con el entorno de programación de análisis R2 y la base de datos de análisis de archivos de columna MonetDB. Además, el entorno de programación de análisis R2 proporciona un dispositivo Apache Spark en memoria, al igual que con los clústeres de Hadoop.

Las configuraciones del sistema estándar de NumaQ escalan de 128 núcleos con 1 TB de memoria a 4096 núcleos con 32 TB de memoria compartida global en un entorno de imagen de sistema único. Los sistemas se basan en la plataforma de servidor estándar de la industria de Dell, Red Hat® Enterprise Linux® y NumaConnect de Numascale.

NumaQ fue desarrollado por 1degreenorth como resultado de una estrecha colaboración entre empresas a lo largo de varios años.

Numascale ha desarrollado la tecnología que habilita NumaQ. Los productos NumaConnect transforman una colección de servidores estándar con memoria y E / S independientes en un sistema unificado que ofrece la funcionalidad de servidores y mainframes empresariales de alta gama a una fracción del costo.

NumaConnect conecta los servidores de carga para formar un único sistema unificado donde todos los procesadores pueden acceder y compartir de manera consistente toda la memoria y E / S. El sistema combinado ejecuta una sola instancia de un sistema operativo estándar como Linux.

El resultado es una opción de procesamiento de memoria compartida asequible para hacer frente a aplicaciones de uso intensivo de datos. Los sistemas basados ​​en NumaConnect que se ejecutan con conjuntos de datos completos en la memoria son «órdenes de magnitud más rápidos que los clústeres o sistemas basados ​​en cualquier forma de dispositivos de almacenamiento masivo existentes, y le permitirán aplicar análisis de datos y aplicaciones de apoyo a la toma de decisiones de formas nuevas e innovadoras «, afirma Einar Rustad, director de tecnología de Numascale.

El gran diferenciador de NumaConnect de otras tecnologías de interconexión de alta velocidad es la memoria compartida y los mecanismos de coherencia de caché. NumaConnect permite que las soluciones escalen hasta 256 TB de memoria principal.

https://www.numascale.com/numa_numaq.html

Puedes compartir en en tu Twitter y Facebook para que tus colegas lo sepan

??? ? ? ???

Comparte