Cognitiv lleva la inferencia de IA al borde | Equinix customer story
<10
latencia de milisegundosMás de 1 millón
de solicitudes por segundoCognitiv potencia las decisiones de anuncios de fracciones de segundo con IA en el borde
El proveedor de tecnología publicitaria, Cognitiv.ai, ejecuta su plataforma de colocación de anuncios de aprendizaje profundo en centros de datos de Equinix, que ofrecen la latencia ultrabaja y el control total sobre el hardware necesarios para optimizar la inferencia de IA en el borde. Para aplicaciones de IA sensibles a la latencia, como las pujas en tiempo real, incluso los retrasos pequeños pueden afectar considerablemente a los resultados, lo que hace de la latencia ultrabaja un requisito estratégico.
El resultado es la capacidad de procesar millones de transacciones por segundo a un costo considerablemente menor que un entorno de nube pública equivalente. Al combinar la implementación de borde con un enfoque híbrido de la infraestructura, Cognitiv equilibra el rendimiento, el control y los costos de manera más eficaz que un modelo basado puramente en la nube.
Fue una elección natural usar centros de datos de alto rendimiento de Equinix, ya que nos brindan un control total y minimizan nuestra latencia.
Michael Goncalves Director de Ingeniería y Operaciones, Cognitiv
En la tecnología publicitaria, cada milisegundo cuenta
Cognitiv, una empresa líder de tecnología publicitaria impulsada por el aprendizaje profundo, usó el aprendizaje profundo y la IA para optimizar las colocaciones de anuncios durante más de una década. “No solo nos dirigimos hacia la IA cuando se volvió genial”, dice Michael Goncalves, director de operaciones de ingeniería de la empresa.
En la publicidad digital, las decisiones deben tomarse en tiempo real a medida que las solicitudes de puja se evalúan y se toman decisiones en milisegundos, lo que convierte a la latencia en un factor crucial de rendimiento. Para funcionar de manera eficaz, la plataforma de publicidad de aprendizaje profundo (DLAP) patentada de la empresa requiere una latencia de red extremadamente baja, así como un hardware especializado capaz de soportar cálculos de fracciones de milisegundos. La plataforma evalúa volúmenes masivos de solicitudes de puja y aplica modelos de aprendizaje profundo en tiempo real para determinar la colocación óptima de los anuncios.
Optimización de la infraestructura para IA
“Cumplir estos requisitos con la nube pública o la infraestructura local tradicional no es realmente alcanzable”, dice Goncalves, debido a tasas más altas de latencia de red y el control limitado sobre el hardware en esas configuraciones.
Los entornos de nube pública pueden introducir una latencia impredecible y limitar la capacidad de ajustar el rendimiento del hardware para cargas de trabajo especializadas de IA.
La asociación con Equinix le da a Cognitiv la baja latencia y el control completo del hardware necesarios para impulsar sus complejos e innovadores modelos de IA.
Gracias a la implementación de la infraestructura de inferencia más cerca de los usuarios y las fuentes de datos, Cognitiv minimiza la latencia y permite la capacidad de respuesta en tiempo real.
Con los centros de datos preparados para IA de Equinix, Cognitiv ejecuta cargas de trabajo de inferencia de IA en varias regiones globales. Este enfoque híbrido permite a Cognitiv combinar la escalabilidad de la nube con el rendimiento y el control de la infraestructura privada. La colocación con sus clientes en las mismas instalaciones permite la evaluación en tiempo real de millones de solicitudes de ofertas por segundo, lo que mantiene la latencia de extremo a extremo en un solo dígito bajo.
Operar a escala de IA
Además de superpotenciar el rendimiento de la plataforma de aprendizaje profundo de Cognitiv.ai, los centros de datos de Equinix también ayudan a la empresa a escalar las operaciones y el alcance del cliente. Una infraestructura distribuida a nivel mundial permite a Cognitiv ampliar su plataforma más cerca de socios y clientes, lo que garantiza un rendimiento coherente en todo el mundo. Al colocar cargas de trabajo en los mismos centros de datos utilizados por clientes y socios, Cognitiv.ai es capaz de ofrecer su solución como un complemento a sus propios servicios con una latencia extremadamente mínima.
Ventajas
Latencia mínima
Tasas de latencia de extremo a extremo en un solo dígito bajo. La implementación de infraestructura de inferencia cerca de los usuarios garantiza una toma de decisiones casi instantánea para cargas de trabajo de IA urgentes.
Optimización de costos
El costo total de vida útil es considerablemente menor que las principales nubes en todo el hardware. Un modelo de infraestructura híbrida reduce la dependencia de los costosos recursos de la nube pública, a la vez que optimiza los costos operativos a largo plazo.
Aumento del rendimiento del hardware
Alto rendimiento de almacenamiento para memoria y bases de datos NoSQL ajustadas de forma óptima a los requisitos de almacenamiento en caché de los servicios. El control total sobre el hardware permite a Cognitiv ajustar la infraestructura para sus cargas de trabajo específicas de inferencia de IA.
Capacidad de respuesta de IA en tiempo real
La inferencia basada en borde permite a la plataforma procesar y responder a millones de eventos por segundo sin cuellos de botella de latencia.