La destilación de modelos de IA es un método que permite a los desarrolladores reducir potentes modelos de inteligencia artificial a sistemas más baratos y eficientes. Esta técnica ha convertido en el último campo de batalla en la creciente carrera entre Estados Unidos y China por el dominio de la IA.
La destilación utiliza los resultados de un potente sistema de IA para entrenar un modelo más pequeño que puede realizar algunas de las mismas tareas con menos recursos informáticos.
Durante mucho tiempo considerada una herramienta estándar en la investigación en IA, la destilación está ahora en el centro de una creciente disputa sobre si las capacidades avanzadas de IA pueden transferirse sin el consentimiento de las empresas que las crearon.
Washington y las principales empresas estadounidenses de IA han acusado a rivales chinos de utilizar la técnica para extraer capacidades de modelos propietarios, abriendo un nuevo frente en una competencia cada vez más amarga por el liderazgo tecnológico.
Los modelos de IA más grandes, conocidos como modelos de frontera, requieren enormes cantidades de potencia computacional, datos e inversión para entrenarse. La destilación de modelos ofrece una forma de crear sistemas más pequeños utilizando un modelo grande de “profesor” para entrenar un modelo de “estudiante” más pequeño.
El profesor genera ejemplos, como respuestas y código informático, que luego se utilizan como material de formación para el alumno. El modelo más pequeño no es una réplica del profesor. No hereda el peso, la arquitectura ni las capacidades completas del profesor.
En su lugar, aprende comportamientos seleccionados que le permiten realizar tareas específicas de forma más eficiente. El atractivo de la destilación es que puede hacer que la IA sea más barata y fácil de implementar. Un modelo de frontera puede requerir grandes centros de datos y chips caros para funcionar.
Los modelos destilados pueden funcionar en hardware menos potente y adaptarse a tareas específicas. Eso los hace atractivos para empresas y gobiernos que buscan desplegar la IA de forma más amplia, desde dispositivos y fábricas hasta vehículos y redes privadas.
Los sistemas de IA recientes han incrementado el interés en transferir no solo respuestas finales, sino también los pasos utilizados para alcanzarlas. Estas “trazas de razonamiento” pueden mostrar a un modelo más pequeño cómo abordar un problema difícil en lugar de simplemente qué respuesta producir.
Florian Tramèr, profesor adjunto en el ETH Zurich que investiga la.
Etiquetas: Inteligencia Artificial, Destilación de modelos, Estados Unidos, China, Tecnología · IA general
About the Author
