Aceleración de la bioinformática con informática híbrida - Calendae | Informática, Electrónica, CMS, Ciberseguridad

Aceleración de la bioinformática con informática híbrida

Hola y mil gracias por leerme. Soy Simón Sánchez y hoy te voy a hablar sobre Aceleración de la bioinformática con informática híbrida

Los avances en la tecnología de secuenciación han aumentado significativamente la generación de datos y requieren avances computacionales acordes con el análisis bioinformático. Las arquitecturas avanzadas basadas en computación reconfigurable pueden reducir los tiempos de ejecución de las aplicaciones de horas a minutos y resolver problemas de tamaño inalcanzable con servidores comunes. El aumento de la capacidad también mejora fundamentalmente la calidad de la investigación al permitir enfoques más precisos y antes poco prácticos. El uso de una arquitectura computacional de núcleo híbrido se puede utilizar para resolver problemas de análisis de secuenciación de próxima generación con uso intensivo de datos, como el ensamblaje de novo y el mapeo de referencia de secuencias de lectura corta.

Dos pasos importantes en el análisis de secuenciación de próxima generación son el ensamblaje de novo y el mapeo de referencia de secuencias de lectura cortas. Ambos se prestan a altos niveles de aceleración con el coprocesador basado en FPGA en los sistemas Convey. Las aplicaciones de bioinformática Convey Graph Constructor y BWA se pueden usar junto con, o reemplazar, flujos de trabajo usando Velvet estándar[1] y BWA[2], respectivamente. Graph Constructor no solo reduce el tiempo de ejecución de Velvet, sino que también reduce los requisitos de memoria, lo que lo hace capaz de ensamblajes más grandes. El rendimiento adicional y la optimización del flujo de trabajo incluyen una herramienta de conteo rápido de kilómetros que permite una rápida identificación de la longitud óptima de kilómetros y los límites de cobertura para el ensamblaje de novo.

Transmitir arquitectura de núcleo híbrido: Computación más rápida, memoria más rápida

La arquitectura Convey Hybrid-Core (HC) combina microprocesadores Intel® x86 con un coprocesador de hardware reconfigurable (FPGA) (Figura 1). Los algoritmos se implementan como instrucciones, llamadas personalidades, que se cargan en FPGA en tiempo de ejecución para acelerar las aplicaciones que los utilizan. Complementando el alto rendimiento de los elementos de cómputo reconfigurables, el sistema de núcleo híbrido de Convey también presenta un subsistema de memoria altamente paralelo optimizado para acceso aleatorio. La memoria compartida globalmente de núcleo híbrido (HCGSM) proporciona una única vista coherente de la memoria a los núcleos x86 basados ​​en caché y los elementos de procesamiento de texto optimizados de alto rendimiento en el coprocesador. Las aplicaciones bioinformáticas que tienen limitaciones de rendimiento de memoria en servidores x86 basados ​​en caché aprovechan en gran medida la arquitectura de memoria de Convey.

Figura 1. La arquitectura Convey Hybrid-Core. La arquitectura combina un sistema host Intel x86 estrechamente integrado con un coprocesador reconfigurable basado en FPGA. La memoria compartida globalmente de núcleo híbrido (HCGSM) proporciona una vista única y coherente de la memoria para los núcleos x86 y el subsistema de memoria altamente paralelo del coprocesador.

Personalidades de Burrows-Wheeler y de Bruijn Graph

Los ensambladores basados ​​en gráficos de De Bruijn, como Velvet, consisten en una gran cantidad de operaciones relativamente simples en grandes estructuras de datos de acceso aleatorio. Las arquitecturas convencionales carecen de suficiente paralelismo en los elementos de procesamiento central y el subsistema de memoria para ejecutar estos algoritmos de manera eficiente. Convey Graph Constructor implementa un generador de gráficos de Bruijn de alta velocidad que puede reducir el tiempo de ejecución y la huella de memoria para el ensamblaje del genoma basado en gráficos. Se puede realizar solo o en combinación con la aplicación Velvet.

Otros algoritmos también se benefician de las implementaciones masivamente paralelas de operaciones de tipo de datos apropiadas para la aplicación, que usan puertas lógicas de manera más eficiente que los servidores de carga. En las aplicaciones de mapeo de Burrows-Wheeler, se obtienen ganancias significativas en el recuento de bits de población requerido para atravesar árboles de sufijos de referencia llenos de memoria. Convey ha desarrollado una personalidad que mejora el rendimiento de la etapa aln de la canalización de procesamiento de BWA y una versión de la aplicación BWA de código abierto con procesamiento de extremo único y extremo emparejado paralelo a los subprocesos. La personalidad de BWA tiene 64 unidades de alineación, cada una de las cuales opera en 32 secuencias simultáneamente, para un total de 2,048 operaciones de alineación simultáneas.

Alinear y aparecer el rendimiento final para el genoma humano.

Para estas pruebas (Figura 1) alineamos los datos de la secuencia de extremos emparejados del proyecto 1000 Genomes con una referencia humana (human_g1k_v37), que consta de 84 secuencias y un total de 3,1 mil millones de bases. SRR189815_1 y SRR189815_2 son lecturas de extremo emparejado de Illumina de HG00124 individuales que contienen un total de 242 millones de lecturas, una longitud promedio de 101. Los pasos aln se realizaron utilizando Convey Acelerado BWA en sistemas HC-1 y HC-1ex y el paso se realizó final acoplado en un sistema x86 comercial usando una versión paralelizada de bwa sampe. Los resultados se comparan con BWA 0.5.9 que se ejecuta en el servidor básico.

Figura 1. Rendimiento final alineado y acoplado del genoma humano. La adición de una canalización HC-1ex y BWA acelerada por Convey a un sistema x86 de consumo ofrece 14,7 veces el rendimiento del sistema x86 solo, procesando 120.000 lecturas / seg.

Resultados

  • El aln acelerado por hardware de Convey es 7.5x (HC-1) y 9x (HC-1ex) en un x86 de 12 núcleos.
  • El hilo de sampe paralelo es 7.3 veces más rápido que la implementación estándar de bwa en el mismo hardware.
  • La adición de una canalización HC-1ex y BWA acelerada por Convey a un sistema x86 de consumo ofrece 14,7 veces el rendimiento del sistema x86 solo, procesando 120.000 lecturas / seg.

Optimización de novo de los parámetros de montaje

Una característica de Convey Bioinformatics Suite es el contador Kmer. El Contador de Kmer de Convey genera un histograma de recuentos de cobertura de kmer haciendo hash del kmer en cada secuencia de lectura. Como se muestra en la Figura 2, el análisis de los datos leídos ayuda a seleccionar la longitud óptima de kmer y los valores límite de cobertura para el ensamblaje de novo.

Figura 2. Histograma de la cobertura kmer para el conjunto de datos de Assemblathon, según lo producido por el contador Kmer de Convey para la longitud de 21 km. Las estadísticas de los resultados del ensamblaje utilizando los límites de cobertura seleccionados muestran el impacto de la selección de parámetros en calidad de montaje, en comparación con la configuración predeterminada de Velvet. El contador Kmer de Convey puede analizar varias longitudes de kmer en la misma ejecución, como se muestra en la superposición azul.

Resultados:

  • Montajes de mayor calidad con parámetros óptimos
  • Reducción del tiempo de viaje y memoria evitando pobres kmers
  • Extremadamente eficiente en comparación con VelvetOptimiser
  • Maneja millas más largas que las medusas
  • Analice varias longitudes de kmer en un solo trabajo

Resumen

Convey ha desarrollado una personalidad que mejora el rendimiento de la etapa aln de la tubería de procesamiento de BWA y una versión paralelizada de las etapas de procesamiento samse y sampe, que permiten a los sistemas Convey reducir drásticamente el tiempo de solución y aumentar la productividad 15 veces durante un período de tiempo. Canalización final acoplada con BWA completo, procesando 120K lecturas / seg.

Hemos desarrollado una personalidad GraphConstructor que interactúa con Velvet y Oases que reduce los requisitos de memoria en aproximadamente un 75% y acelera el rendimiento en un orden de magnitud, lo que hace posible abordar genomas previamente imprácticos con resultados de mayor calidad. Además de este trabajo, hay varios otros proyectos presentados recientemente o en curso que comparan el rendimiento y la precisión del generador de gráficos de Convey para ensamblajes de genoma y transcriptoma, comparándolos con una variedad de programas de ensamblaje populares.

Estamos trabajando en la optimización del flujo de trabajo y el rendimiento adicional para estas aplicaciones, así como en la aceleración de aplicaciones adicionales.

Referencias

y agradecimientos

  1. «Velvet: Algoritmos para ensamblaje de lectura corta de novo utilizando gráficos de Bruijn», Daniel R. Zerbino y Ewan Birney, EMBL-European Bioinformatics Institute, Genome Res. 18 (2008) 821.
  2. «Alineación rápida y precisa de lectura corta con la transformación de Burrows-Wheeler», Heng Li y Richard Durban, Wellcome Trust Sanger Institute, Bioinformatics 25 (2009) 1754.
  3. «Descubrimiento metagenómico de genes y genomas que degradan la biomasa del rumen de la vaca», Hess, et al, Science 331 (2011) 463.
  4. «Ensamblaje eficiente basado en gráficos de secuencias de lectura corta en una arquitectura de núcleo híbrido» Alex Sczyrba, Abhishek Pratap, Shane Canon, James Han, Alex Copeland, Zhong Wang, Reunión de usuarios del DOE Joint Genome Institute, marzo de 2011.

Para obtener más información, visite Computadora de transmisión.

No te olvides compartir en tus redes sociales para que tus amigos lo sepan

??? ? ? ???

Comparte