A principios de 2025, un laboratorio llamado DeepSeek publicó modelos que igualaban el razonamiento de sistemas de frontera mucho más costosos con un presupuesto de entrenamiento que parecía un error de redondeo, y el mundo de la IA colectivamente perdió la compostura. Una palabra seguía apareciendo en cada explicación: destilación. Un año después, el tema volvió a las portadas cuando Anthropic informó que varios laboratorios habían estado copiando encubiertamente su modelo Claude a escala industrial, generando más de 16 millones de intercambios con Claude a través de aproximadamente 24.000 cuentas fraudulentas.
¿Cuál es la técnica detrás de ambas historias y tiene cabida en tu hoja de ruta? Esta guía cubre la destilación de modelos desde sus fundamentos: qué es, cómo funciona, dónde resulta útil, lo único que genuinamente no puede hacer y si es siquiera legal destilar ChatGPT o destilar Claude. Si lo estás considerando para un producto, nuestro equipo de AI destilación de modelos services puede ayudarte a planificar el proyecto y entender los costos antes de comprometer cualquier presupuesto.
¿Qué es la destilación de modelos?
Model distillation es el proceso de transferir el conocimiento de un modelo grande y capaz (el profesor) a un modelo más pequeño y económico (el estudiante), para que el estudiante se acerque a la calidad del profesor en una tarea específica mientras funciona más rápido y cuesta mucho menos. El estudiante raramente iguala al profesor en todo lo que este puede hacer. Sin embargo, en un dominio estrecho, puede acercarse notablemente. La idea no es nueva. Fue formalizada por Geoffrey Hinton y sus colegas en su artículo de 2015 Destilando el conocimiento en una red neuronal, y desde entonces ha sido un componente silencioso pero fundamental del aprendizaje automático práctico.
El ejemplo clásico que lo demuestra es DistilBERT. BERT fue un modelo de lenguaje emblemático de Google que impulsó una ola de herramientas de búsqueda y comprensión de texto, y DistilBERT es una versión comprimida de él creada por el equipo de Hugging Face. Según Sanh et al., 2019, DistilBERT conservó aproximadamente el 97% de la comprensión del lenguaje de BERT siendo aproximadamente un 40% más pequeño y un 60% más rápido. Ese único resultado captura todo el atractivo de la AI destilación de modelos: conservar la mayor parte de la inteligencia y eliminar la mayor parte del costo.
¿Cómo funciona la destilación de modelos?
Tomas un modelo fuerte, lo usas para producir respuestas de alta calidad y luego entrenas un modelo más pequeño para imitar esas respuestas hasta que el pequeño se comporta como una copia compacta del grande para tu caso de uso. El estudiante no está memorizando una tabla de consulta. Está aprendiendo los patrones de razonamiento y respuesta del profesor en la tarea que te importa. La mayoría de la destilación de LLM moderna utiliza uno de dos mecanismos, y la diferencia importa cuando planificas un proyecto.
Destilación basada en respuestas (datos)
Este es el enfoque común para los modelos de lenguaje y el que la mayoría de las plataformas automatizan. Ejecutas el profesor en un gran conjunto de prompts, capturas sus salidas y haces fine-tuning del estudiante con esos pares de entrada-salida. El estudiante aprende a reproducir directamente el comportamiento del profesor. Es exactamente cómo DeepSeek construyó sus modelos destilados: el equipo compiló un conjunto de datos de 800.000 ejemplos generados por su propio modelo R1, luego usó esos datos para hacer fine-tuning de modelos abiertos existentes como Qwen y Llama.
Destilación de etiquetas suaves (logit)
En lugar de entrenar solo en el texto final del profesor, el estudiante se entrena en la distribución de probabilidad completa del profesor sobre los tokens posibles, las llamadas etiquetas suaves. Esa señal lleva más información, ya que le dice al estudiante no solo que la respuesta fue A sino que B era casi igual de probable.
El problema radica en el acceso. Las API cerradas como ChatGPT no exponen sus probabilidades internas, por lo que la destilación de etiquetas flexibles solo está disponible cuando se controla al profesor o se utiliza uno abierto (un modelo con licencia abierta cuyos componentes internos se pueden inspeccionar y ejecutar uno mismo, como Llama o Qwen).
Destilación basada en características
Esta variante va más allá de la respuesta final o sus probabilidades y examina el funcionamiento interno del profesor. En lugar de copiar solo lo que dice el profesor, el estudiante aprende a reproducir las representaciones intermedias del profesor, los patrones internos que el modelo forma en sus capas ocultas mientras avanza hacia una salida. Una analogía aproximada sería que el estudiante reprodujera el procedimiento del profesor, no solo su respuesta final. Al igual que la destilación de etiquetas flexibles, necesita acceso a los detalles internos del profesor, no solo a su texto, por lo que resulta adecuada para modelos abiertos o de propiedad propia, y fue fundamental en la construcción de DistilBERT.
Técnicas de destilación de modelos y tipos
Las técnicas de destilación de modelos que encontrará se basan en tres preguntas sencillas: de qué señal aprende el estudiante, cómo se relacionan el profesor y el estudiante durante el entrenamiento y cuán amplia es la tarea objetivo. La primera pregunta, la señal de entrenamiento, es la que ya vimos en los mecanismos anteriores: el aprendizaje basado en respuestas se basa en los resultados finales, el aprendizaje basado en logit en probabilidades difusas y el aprendizaje basado en características en las representaciones ocultas del profesor. Las otras dos preguntas dan lugar a los tipos que conviene conocer antes de presentar el modelo a un equipo de ingeniería, y acertar con la combinación es donde la experiencia en el desarrollo de modelos de lenguaje a gran escala marca la diferencia entre un éxito rotundo y un fracaso total.
Destilación fuera de línea
Esta es la configuración estándar y cotidiana. El profesor ya está entrenado y permanece congelado mientras el estudiante aprende de sus salidas. Como el profesor nunca cambia, el proceso es simple de ejecutar y fácil de entender, por eso la mayoría de los proyectos de producción comienzan aquí.
Destilación en línea
Aquí el profesor y el estudiante se entrenan al mismo tiempo en lugar de uno después del otro. El profesor sigue mejorando junto al estudiante, lo que puede producir un resultado más fuerte, pero es más complejo y costoso de coordinar. Los equipos generalmente recurren a esto solo cuando la destilación fuera de línea deja rendimiento sin aprovechar.
Autodestilación
En la autodestilación, un modelo actúa como su propio profesor y pasa su conocimiento a una versión más pequeña o posterior de sí mismo. Suena circular, pero es una forma práctica de comprimir un modelo o limpiar su comportamiento sin necesidad de un profesor separado y más grande. El enfoque aparece cuando un equipo quiere una versión más ligera de un modelo que ya posee.
Destilación específica de tareas
Esta apunta a un trabajo estrecho, como la clasificación de tickets de soporte, la clasificación de documentos o la extracción de datos estructurados. Como el estudiante solo necesita ser bueno en una única tarea, puede ser pequeño, económico y muy rápido. Esta es la forma más rentable de destilación y la que la mayoría de las empresas debería considerar primero.
Destilación general
Esta tiene como objetivo transferir capacidad amplia en lugar de una sola habilidad, produciendo un modelo más pequeño que se mantiene competente en muchas tareas. Es el trabajo más pesado, ya que demanda muchos más datos y cómputo, y es la ruta que DeepSeek tomó con sus modelos de razonamiento de propósito general. La mayoría de las empresas no necesitan llegar tan lejos, pero es la decisión correcta cuando un modelo tiene que manejar una amplia gama de trabajo.
Destilación de modelos frente a ajuste fino: ¿Cuál es la diferencia?
Las personas a menudo usan los dos términos de manera intercambiable, y la confusión es comprensible porque el paso final es el mismo en ambos. La distinción más clara is the source of the training signal. In ordinary fine-tuning ordinario de LLM, el modelo aprende de las etiquetas de referencia escritas por humanos que proporcionas. En la destilación, las etiquetas provienen de otro modelo, el profesor, que genera los datos de los que aprende el estudiante.
En otras palabras, la destilación es una forma de generar datos de entrenamiento, y el ajuste fino es el proceso de entrenamiento con dichos datos. Un proceso de destilación casi siempre culmina en una ejecución de ajuste fino supervisado, razón por la cual la distinción se difumina en la práctica. La razón para considerar esta diferencia radica en el costo y la propiedad. El ajuste fino con datos etiquetados propios se centra en el estilo o formato de enseñanza. La destilación, en cambio, permite heredar de forma económica la capacidad de un modelo mucho más grande para una tarea definida.
¿Por qué los equipos apuestan por la destilación de modelos?
La economía es el punto central, y se vuelve más convincente cada trimestre. En su servicio gestionado de destilación de modelos, AWS reporta que los modelos destilados pueden funcionar hasta un 500% más rápido y un 75% más económico que los originales, con menos de un 2% de pérdida de precisión para casos de uso como la generación aumentada por recuperación. También se obtienen modelos más pequeños que caben en hardware más económico o se ejecutan en el propio dispositivo, un menor consumo de energía y, al autoalojar la aplicación, control total sobre los pesos sin comisiones de API por token.
La curva de costos general apunta en la misma dirección. Según el Informe del Índice de IA 2025 de Stanford HAI, impulsado por modelos pequeños cada vez más capaces, el costo de inferencia para un sistema de nivel GPT-3.5 se redujo más de 280 veces entre noviembre de 2022 y octubre de 2024, aproximadamente de $20 a $0.07 por millón de tokens. El mercado ya está cambiando en consecuencia. Gartner predice que para 2027 las organizaciones utilizarán modelos de IA pequeños y específicos para tareas al menos tres veces más que modelos de lenguaje grandes de propósito general.
La calidad en tareas estrechas es la parte que sorprende a las personas. El artículo de DeepSeek-R1 reporta que su estudiante destilado de 32B obtuvo un 94,3% en el benchmark de nivel competitivo MATH-500 frente al 97,3% de su profesor de 671B parámetros, una brecha pequeña de un modelo aproximadamente veinte veces más pequeño. La especialización se está convirtiendo en la norma en lugar de la excepción, y Gartner prevé que para 2027 más del 50 % de los modelos GenAI que utilizan las empresas serán específicos de un sector o función empresarial, frente a aproximadamente el 1 % en 2023.
Lo que Model Distillation no puede hacer
Un modelo depurado es un especialista, no un generalista, y pretender lo contrario es la forma más rápida de lograr un piloto decepcionante. El alumno rara vez supera al maestro, y hereda sus puntos ciegos y sesgos junto con sus fortalezas. Si el maestro se equivoca en algo, el alumno se equivocará con seguridad en lo mismo, por lo que la verificación de sesgos debe formar parte del plan desde el primer día.
La generalización limitada es la trampa más sutil. Un modelo optimizado para un dominio puede degradarse silenciosamente en otros, y un estudio reciente descubrió que cada punto de control de DeepSeek-R1-Distill-Qwen obtuvo una puntuación inferior a la línea base de tamaño equivalente en una prueba de resolución de restricciones, a pesar de que esos mismos modelos sobresalen en matemáticas y programación. La destilación mejora el rendimiento en tareas específicas, no la mejora general. También hay que tener en cuenta el aumento progresivo de costes, ya que generar datos sintéticos a partir de un modelo de alto nivel implica pagar sus elevadas tarifas, y los ciclos de entrenamiento repetidos se acumulan incluso cuando el modelo final se ejecuta a bajo coste.
¿Es legal la destilación de modelos? ¿Puedes destilar ChatGPT o Claude?
La destilación en sí misma es una técnica legítima que data de hace décadas. La cuestión legal se centra exclusivamente en los resultados de qué producto se utiliza para la formación y bajo qué condiciones. La destilación dentro de la propia plataforma del proveedor no solo está permitida, sino que es una función compatible: OpenAI ofrece la destilación de modelos en su API para que puedas usar un modelo GPT más grande como GPT-4o para ajustar uno más pequeño como GPT-4o mini, todo en un mismo lugar.
Intentar analizar ChatGPT desde fuera es un asunto distinto. Los términos de OpenAI prohíben usar sus resultados para entrenar modelos de la competencia, que es precisamente el motivo del escrutinio al que se sometió DeepSeek a principios de 2025. Lo mismo ocurre con cualquier intento de analizar Claude sin respetar las normas. Anthropic informó en febrero de 2026 que tres laboratorios habían llevado a cabo ataques de análisis a escala industrial contra Claude, y la empresa ahora utiliza sistemas de detección que identifican el tráfico de tipo análisis y la actividad coordinada de las cuentas.
La conclusión es que no se obtienen los pesos ni las probabilidades de un modelo cerrado, y no se puede clonar legalmente la API de un competidor para crear un modelo rival. Las opciones más realistas son destilar los datos dentro de la plataforma de un proveedor o usar un profesor con licencia abierta como Llama, Qwen o DeepSeek, donde se controla todo el proceso. Explicamos la mecánica práctica en nuestro artículo complementario: cómo destilar un modelo LLM paso a paso.
¿Cuánto cuesta realmente?
Un proyecto pequeño y específico para una tarea concreta resulta más económico de lo que muchos creen. Tomemos un ejemplo práctico: generar unos miles de muestras de entrenamiento a partir de un modelo de referencia robusto, optimizar un modelo de aprendizaje compacto y luego implementarlo durante un mes con tráfico moderado. La configuración inicial suele costar solo unas pocas decenas de dólares al usar una plataforma gestionada, y la factura mensual de inferencia para el modelo optimizado puede rondar los pocos dólares.
El mismo volumen mensual de consultas en el modelo fronterizo original costaría mucho más, que es precisamente el argumento a favor de la destilación. El autoalojamiento modifica la forma de la factura, no solo su importe: se intercambian las tarifas de API por token por el alojamiento en GPU, lo que resulta ventajoso con un alto volumen de consultas y menos rentable con un volumen bajo.
Antes de comprometer un presupuesto, haga los cálculos con sus propios datos. Obtenga las tarifas actuales por token y por hora de GPU directamente de la página de precios del proveedor, ya que las tarifas publicadas varían mensualmente y cada proveedor ofrece cifras diferentes. Calcule su volumen mensual real (aproximadamente, el número esperado de consultas multiplicado por los tokens que utiliza cada una) y compare los precios de ambas opciones: la API de pago por token para el profesor de vanguardia frente a la API optimizada para el estudiante, ya sea que la implemente en un servidor sin servidor o en un servidor propio. Esta comparación, y no una cifra específica, le indicará si la optimización resulta rentable a su escala.
Crea tu hoja de ruta para la destilación de modelos con Redwerk
Si la destilación parece adecuada, el siguiente paso es un plan fundamentado en tus datos y tus números. Como empresa de desarrollo de IA, Redwerk ayuda a las empresas a seleccionar el modelo correcto y el stack tecnológico adecuado para la destilación de modelos. A través de una fase de descubrimiento, obtienes una hoja de ruta adaptada a tu industria y casos de uso, junto con una imagen clara del costo y el esfuerzo involucrado, y proporcionamos un estimado antes de que comience cualquier trabajo.
Aplicamos los principios fundamentales de ingeniería y las mejores prácticas de seguridad perfeccionadas durante décadas de desarrollo de software a medida para empresas de Norteamérica y Europa, incluidas compañías Fortune 500 como Siemens, JB Hunt y Universal Music Group. Esto se traduce en un modelo optimizado que cumple con su tarea, se mantiene estable en producción y evita filtraciones de propiedad intelectual o riesgos de cumplimiento normativo, riesgos que pueden surgir al realizar una optimización descuidada. Cuéntenos sobre su caso de uso y le ayudaremos a decidir si optimizar, perfeccionar o adoptar un enfoque completamente diferente.
Mira cómo construimos una app de reclutamiento impulsada por IA adquirida por un gigante de personal de EE. UU.
