Destilación
Comprimir conocimiento de un modelo grande en uno más pequeño y rápido
¿Qué es Destilación?
Una técnica donde un modelo 'estudiante' más pequeño aprende a replicar el comportamiento de un modelo 'profesor' más grande, reteniendo la mayor parte de la capacidad a una fracción del costo y latencia. La destilación es por qué puedes correr modelos sorprendentemente capaces en una laptop. Para builders, significa que no siempre necesitas el modelo más grande, necesitas el modelo del tamaño correcto para tu tarea.
Cómo funciona
Claves para recordar
-
Un modelo pequeño aprende de un modelo profesor más grande
-
Mantiene calidad mientras reduce el costo de inferencia
-
Técnica clave para desplegar AI a escala
En la práctica
Ejecutas 10,000 consultas por GPT-4 (el profesor) y recolectas sus respuestas. Luego ajustas un modelo pequeño como Llama 8B con esas salidas. El modelo pequeño captura la mayor parte de la calidad de GPT-4 a una fracción del costo.
