En un esfuerzo conjunto por mejorar la eficiencia y el rendimiento de los modelos de lenguaje, OpenAI y Broadcom han presentado Jalapeño, un chip de inferencia especialmente diseñado para este tipo de modelos. La iniciativa busca reducir costos, mejorar la latencia y permitir a OpenAI tener más control sobre la infraestructura que apoya a servicios como ChatGPT y Codex, así como a futuros productos de inteligencia artificial.
Jalapeño representa el primer Procesador de Inteligencia de OpenAI enfocado en la inferencia de LLM (grandes modelos de lenguaje). El chip ha sido desarrollado desde el principio con la ayuda de modelos propios de OpenAI, logrando su diseño y tape-out en solo nueve meses. Se espera que esta plataforma de múltiples generaciones permita despliegues a escala de gigavatios a partir de finales de 2026.
La entrada de OpenAI en el diseño de chips es significativa, ya que el acceso a cómputo es un punto crítico en la industria de la inteligencia artificial. Jalapeño se describe como el primer acelerador dentro de una serie de computación de múltiples generaciones que busca hacer que la IA avanzada sea más rápida, confiable y accesible.
La inferencia es la etapa en la que un modelo entrenado responde preguntas, genera texto o ejecuta tareas, esencial para la interacción del usuario final con servicios como ChatGPT y Codex. Controlar más componentes de la infraestructura puede traducirse en menores costos operativos, menor latencia y mayor confiabilidad, además de reducir la dependencia de plataformas generalistas.
Jalapeño fue diseñado desde cero basándose en la comprensión de OpenAI de los fundamentos de los LLM, con el desarrollo guiado por la hoja de ruta de modelos, núcleos y sistemas de servicio. La arquitectura no es una adaptación de aceleradores para cargas de trabajo de IA anteriores, sino que fue pensada específicamente para la inferencia moderna de LLM, operando con flexibilidad ante modelos actuales y futuros.
El movimiento de datos y la utilización real del hardware son factores clave en el costo y rendimiento de los LLM. OpenAI ha afirmado que Jalapeño busca combinar la potencia y rendimiento de los aceleradores líderes con una latencia más cercana a la de los sistemas especializados más veloces. Si se logra, el chip podría ser especialmente útil para productos interactivos a gran escala.
Etiquetas: Tecnología, Hardware, Inteligencia Artificial, OpenAI, Broadcom, Jalapeño, Chip de Inferencia, Modelos de Lenguaje
About the Author
