Reiner Pope, actual CEO de MatX y quien diseñó las TPU en Google, ofreciĂł una clase tĂ©cnica que despeja el mito de que más GPUs equivalen a respuestas más rápidas en GPT, Claude o Gemini. SegĂşn Pope, la fĂsica del hardware impone dos lĂmites: el tiempo de cĂłmputo y el tiempo de memoria. El segundo es el que más duele.
Durante la generación de cada token, el modelo lee del KV cache, la memoria que guarda representaciones previas. Esa operación no es una multiplicación de matrices, sino una lectura masiva de HBM. Si el ancho de banda no crece, la latencia se estanca por más que se pague.
El truco económico está en el batch size: agrupar a cientos de usuarios en un mismo forward pass. Leer los pesos una sola vez y servir muchas secuencias abarata el costo por token hasta mil veces. Un solo usuario, por contraste, paga el precio completo de la lectura de memoria.
Pope advierte que existe un piso de latencia infranqueable: el tiempo mĂnimo para traer todos los parámetros desde la HBM. Cobrar más al usuario reduce colas, pero no elimina ese tiempo fĂsico. Por eso los “modos rápidos” apenas recortan unos milisegundos y los “modos lentos” apenas bajan la factura.
La charla conecta otros cuellos: la topologĂa de red entre racks, la sparsity y el largo. Cada variable altera cuántos bytes deben moverse y, por tanto, el precio final de la API. No es magia de software; es contabilidad de bits.
Para reguladores y usuarios mexicanos, la lecciĂłn es clara: la promesa de “más velocidad por más pesos” tiene un techo dado por la fĂsica del centro de datos, no por la voluntad de OpenAI, Anthropic o Google.
Etiquetas: OpenAI, ChatGPT, Anthropic, hardware, IA, memoria HBM, batch size, latencia
About the Author
