PayPal encuentra orden en el caos con HPC - Calendae | Informática, Electrónica, CMS, Ciberseguridad

PayPal encuentra orden en el caos con HPC

Hola, ¿qué tal colega?. Soy Simón Sánchez y esta vez vamos a hablar sobre PayPal encuentra orden en el caos con HPC

En el Foro de usuarios de HPC de 2014 en Seattle, Ryan Quick y Arno Kolster de PayPal describen cómo la empresa utiliza HPC para transformar los datos mezclados del servidor en tiempo real en información inteligente y procesable. El enfoque único de «Inteligencia de sistemas» utiliza el servidor Moonshot de HP con tecnología de procesadores de TI para agregar, analizar y actuar sobre los datos de transacciones en tiempo real.

El objetivo de PayPal es detectar patrones y anomalías y tomar medidas antes de que la experiencia del usuario se vea afectada negativamente. El principal desafío es hacer esto en tiempo real, ya que PayPal tiene que procesar alrededor de 3 millones de eventos por segundo de miles de fuentes en su centro de datos. Los eventos de origen incluyen registros de aplicaciones, datos de máquinas, datos ambientales de centros de datos y eventos de redes sociales. Hay alrededor de 25 TB de datos entrantes por hora, 20 Mb por segundo de datos de máquina de miles de servidores de PayPal, alrededor de 50,000 informes de metadatos y una marea cada vez mayor de tendencias de redes sociales e interacciones con los clientes a considerar.

“Básicamente, tomamos todos esos datos, los juntamos y correlacionamos eventos a través de esos flujos”, dice Kolster, MTS senior, arquitecto de bases de datos de PayPal. «Por ejemplo, si publicamos una versión el jueves por la noche en San José y unos minutos más tarde vemos un aumento en las interacciones con los clientes en Dublín y los feeds de Twitter en Alemania dicen que esta última versión de PayPal no funciona correctamente, ahora podemos correlacionar las tres. eventos en segundos, mientras que antes la gente hubiera tardado varias horas en comprender lo que estaba sucediendo.

La arquitectura de flujo de Systems Intelligence comparte muchas similitudes con un sistema de detección de fraude de PayPal, que también se basa en los principios de HPC. Es bastante simplista, dice Kolster, pero cuando se trata de distribución real, se vuelve mucho más complejo. Todos los datos de eventos de origen se lanzan en un gran bus en tiempo real y se importan desde los servidores de la aplicación, que están procesando Online. Hay procesadores de eventos complejos en cada uno de estos servidores de aplicaciones y una enorme ventana de eventos de memoria compartida con el SGI UV2000. El flujo de eventos se amplía con bases de datos fuera de línea, bases de datos relacionales y gráficos. El elemento de aprendizaje automático restablece las nuevas plantillas en los servidores de aplicaciones. Se utiliza un sistema de advertencia y notificación para solucionar problemas.

La exploración de HPC por parte de PayPal comenzó en 2006. Como explica Ryan Quick, arquitecto principal del grupo de tecnología avanzada de PayPal, «nuestro trabajo es encontrar la mejor opción». Quick y Kolster comenzaron a comprar en HPC porque tenían una serie de problemas, especialmente en tiempo real, que no estaban siendo resueltos por las herramientas que podían adquirir en sus canales habituales.

“Existe una extraña área gris donde sus necesidades no se satisfacen en la empresa, pero HPC todavía es un poco demasiado vanguardista”, agrega Quick.

Al comentar cómo se decidieron por la plataforma HP-TI, Quick recuerda que miró a Kolster y dijo: «Lo que hicieron aquí fue construir un clúster HPC y ponerlo en un sistema en un chip». Los procesadores multinúcleo KeyStone proporcionaron una poderosa combinación de cuatro núcleos ARM Cortex-A15, ocho DSP C66x, así como capacidades de red interna y estructura.

Como socio de TI explica, el SoC 66AK2Hx que se ejecuta en la plataforma Moonshot de HP tiene algunas ventajas únicas para facilitar la computación en tiempo real. Éstas incluyen:

1) Núcleos C66x DSP que tienen un rendimiento de procesamiento de señal muy bueno y tiempos de respuesta de latencia muy bajos y pueden recibir, procesar y devolver datos de paquetes muy rápidamente.
2) Una estructura de E / S integrada que mueve los datos rápidamente y con baja latencia. El tejido C66AK2H IO utiliza sRIO, que tiene una latencia de salto a salto 10 veces menor que la E / S de Ethernet.
3) Elementos adicionales de la arquitectura KeyStone II, como Multicore Navigator y TeraNet, que permiten además el movimiento de datos de baja latencia dentro y entre dispositivos.

La nueva plataforma esencialmente trata el procesamiento de eventos complejos como señales digitales. «Transforma los datos en una señal que se pueda analizar en hardware», dice Quick. Y con ocho DSP, pueden ingerir muchas señales a la vez y luego reconocerlas todas al mismo tiempo. El sistema también es bastante eficiente: funciona a 55 vatios por cartucho (4 SoC / cartucho) y ofrece unos impresionantes 11,2 gigaflops por vatio. En comparación, la supercomputadora con mayor eficiencia energética del mundo según la edición más reciente de Lista Green500 TSUBAME-KFC en Japón ofrece 4.4 gigaflops por vatio más modestos.

Actualmente, la aplicación está disponible para el público a través de TI. El producto incluye OpenCL, el kit de desarrollo completo y el software.

Recuerda compartir en una historia de tu Instagram para que tus colegas opinen

??? ? ? ???

Comparte