Co-diseño para Big Data en Barcelona - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Co-diseño para Big Data en Barcelona

Hola, ¿qué tal colega?. Te habla Simón Sánchez y en el día de hoy hablaremos sobre Co-diseño para Big Data en Barcelona

La tercera conferencia anual sobre Big Data y Extreme Computing se celebró en Barcelona el mes pasado y reunió a más de 100 expertos de todo el mundo para informar sobre investigaciones pioneras en la intersección de Big Compute y Big Data. Como el año pasado, el evento acogió una amplia gama de presentaciones relevantes y oportunas, incluida una del cercano Centro de Supercomputación de Barcelona sobre la gran iniciativa RETHINK y el significado del codiseño.

Osman Ünsal del Barcelona Supercomputing Center habló como representante de RETHINK big, financiado por el Séptimo Programa Marco de la Unión Europea con un presupuesto de más de 1,9 M €. El proyecto de dos años se lanzó hace casi un año el 1 de marzo de 2014 para definir una hoja de ruta para las tecnologías de redes y hardware de big data en Europa. Al reunir a los principales arquitectos europeos de hardware, redes y sistemas con los principales productores y consumidores de big data, el proyecto busca crear un camino para el análisis de datos avanzado con el objetivo de maximizar la competitividad europea durante la próxima década.

En el taller de BDEC para Europa, una reunión centrada en Europa celebrada justo antes del evento principal de BDEC, Ünsal compartió el progreso que RETHINK big ha logrado a medida que se acerca a su hito de un año, y los desarrollos que surgieron de la reunión del grupo de trabajo. en septiembre de 2014, el Taller de Síntesis en diciembre de 2014, así como las actividades de colaboración con el Big Data Value Public Private Partnership de la Unión Europea.

Ünsal también habló sobre un elemento central de RETHINK big, el co-diseño y la necesidad de tener en cuenta el hardware al diseñar software y viceversa. Después de todo, el objetivo de Rethink Big es avanzar en el aspecto del hardware y la red del análisis de datos asegurándose de que las aplicaciones, los algoritmos y los sistemas evolucionen simultáneamente.

en un documento de posición Publicado en los procedimientos del evento, Ünsal dice que la desaceleración en la Ley de Moore está impulsando el impulso hacia nuevas tecnologías de hardware y proyectos de software, pero es un error no hacerlo en conjunto. Ignorar ambos lados de este paradigma es una receta para problemas. Un ejemplo de hardware citado por Ünsal es el procesador Cell. El modelo de coprocesador maestro-esclavo que se hizo famoso por alimentar la primera supercomputadora de petaescala del mundo era notoriamente difícil de programar. También menciona el procesador Intanium con su procesador Very Long Instruction Word (VLIW) y un compilador que no pudo obtener suficiente paralelismo.

Se han producido discrepancias similares en el lado del software cuando el software no es «consciente del hardware». Aquí Ünsal menciona las dos principales plataformas Terasort para la clasificación de datos de 100 TB: una plataforma Hadoop y Tritonsort optimizada para hardware, y está escrita en C.La plataforma número uno se ejecuta en Hadoop vanilla y, por lo tanto, es fácil de programa, pero necesita 57 veces más núcleos, 100 veces más memoria y solo el doble de rendimiento que la plataforma número 2, Tritonsort, que está optimizada por hardware y escrita en C.

El artículo de Ünsal continúa discutiendo los avances de hardware que BSC está buscando para soportar cargas de trabajo intensivas en datos, con un enfoque en modelos de programación distribuida / flujos de datos emergentes.

«Por un lado, anticipamos un uso mucho más frecuente del apilamiento 3D para ayudar a resolver problemas de ancho de banda y capacidad», escribe. «Apilar memoria sobre lógica nos acercará a una especie de arquitectura de procesador en memoria (PIM), al menos en filosofía, y las arquitecturas PIM encajan bien con modelos de programación que aprovechan también la ubicación y el movimiento de datos administrados en tiempo de ejecución. como migrar cálculos a datos «.

Con un mayor ancho de banda habilitado a través del apilamiento 3D, están buscando formas de aprovechar esta relajación del cuello de botella de E / S de la memoria, tal vez con procesadores vectoriales, que se sabe que aprovechan el ancho de banda de manera muy eficiente.

Ünsal dice que los investigadores del BSC también ven un camino a seguir para las tecnologías de memoria no volátil, como memristor y STT-MRAM, que son interesantes por su densidad, persistencia y baja dispersión. “Estas densidades son más altas que la tecnología actual de discos magnéticos”, agrega, “lo que implica que en el futuro toda la memoria, incluido el disco y la memoria principal, puede estar compuesta por estas memorias no volátiles. Esto hace que los sistemas de archivos complicados sean innecesarios y aumenta la relevancia de los modelos de programación basados ​​en tareas basados ​​en datos. «

Los investigadores del BSC también están explorando el uso de memorias no volátiles emergentes junto con el apilamiento 3D. Como señala Ünsal, las implementaciones actuales de apilamiento 3D están limitadas por la disipación térmica causada por una mayor dispersión. Las tecnologías emergentes no volátiles que prácticamente no tienen pérdidas resolverían el problema térmico y mantendrían una mayor memoria. «Este procesador de memoria multinúcleo 3D apilado no volátil facilitará una nueva arquitectura en la que el almacenamiento basado en objetos es un ciudadano de primera clase», escribe.

No te olvides compartir en en tu Twitter y Facebook para que tus colegas lo vean

??? ? ? ???

Comparte