Una nueva era para la inferencia de IA
En un mundo donde la velocidad de inferencia en inteligencia artificial se ha convertido en un factor crítico, la startup francesa Kog está captando la atención del sector tecnológico. Fundada por Gaël Delalleau, Kog se propone demostrar que es posible extraer un rendimiento excepcional de las GPUs convencionales que muchas empresas ya poseen, como las AMD MI300X y Nvidia H200.
Kog saltó a los titulares en mayo tras una presentación técnica que mostró su capacidad para lograr decodificación extremadamente rápida en solicitudes individuales. Aunque algunos usuarios expresaron su decepción al saber que esta tecnología no se aplicaba a las GPUs de sus laptops, otros vieron el potencial significativo que ofrece esta optimización de software.
“La velocidad y el costo son ahora cuellos de botella críticos”, afirmó Delalleau. Con más de 200 oportunidades comerciales tangibles generadas tras su demostración, Kog está enfocándose inicialmente en el ámbito del software, donde los usuarios experimentan demoras significativas al obtener resultados.
A pesar del entusiasmo inicial, Kog reconoce que el mercado aún no está completamente maduro. Muchos clientes potenciales no están dispuestos a ajustar modelos pequeños, lo que ha llevado a la empresa a concentrarse en acelerar el desarrollo de modelos más grandes. “Desde nuestro lanzamiento, hemos estado totalmente enfocados en esto”, explicó Delalleau.
Kog ha demostrado una impresionante capacidad con su modelo Laneformer 2B, alcanzando hasta 3,000 tokens por segundo. Sin embargo, para cumplir con su promesa de ofrecer una inferencia LLM 30 veces más rápida, deberán superar desafíos significativos relacionados con el tamaño y complejidad de los modelos.
A pesar del escepticismo sobre si las GPUs son adecuadas para decodificación rápida, Delalleau sostiene firmemente que tienen un futuro prometedor. “La idea de que no son aptas para este propósito es un mito”, aseguró. Con cada vez más ancho de banda disponible en las nuevas GPUs, hay un gran potencial por desbloquear.
Kog no está sola en su búsqueda; otras empresas como ZML también están explorando formas innovadoras para optimizar el rendimiento de las GPUs. Sin embargo, Kog se distingue por su enfoque profundo y técnico similar al laboratorio Hazy Research de Stanford.
A medida que Europa busca fortalecer sus capacidades tecnológicas y aumentar su soberanía digital, Kog podría beneficiarse enormemente. La compañía ya cuenta con el apoyo financiero de Scaleway y Bpifrance como parte del programa French Tech 2030.
A medida que Kog avanza hacia la implementación exitosa de modelos LLM a velocidades significativamente mejoradas —con planes ambiciosos para septiembre— también espera atraer inversiones adicionales para continuar su crecimiento. “Demostrar tracción con nuestros clientes será clave para asegurar nuestra ronda Serie A”, concluyó Delalleau.
