Técnicas de optimización de inferencia LLM

Cuando se pasa de los LLM en presentaciones de diapositivas a los LLM en producción, la optimización de la inferencia LLM deja de ser algo deseable y se convierte en la economía de su unidad. Un estudio de la ACL de 2025 muestra que las técnicas adecuadas de optimización de la inferencia LLM reducen el consumo de energía hasta en un 73 % en comparación con el servicio ingenuo, lo que normalmente se traduce en una reducción de 2 a 3 veces en los costes de la nube.

En esta guía, verá cómo los equipos modernos utilizan métodos de optimización de la inferencia LLM, desde la cuantificación de modelos hasta el paralelismo tensorial, la inferencia por lotes y la decodificación especulativa, para sacar más tokens del mismo presupuesto de GPU sin perjudicar la calidad.

Por qué es importante ahora la optimización de la inferencia LLM

A los ejecutivos rara vez les importa lo bonitos que sean sus núcleos de atención; les importa el tiempo de respuesta, la precisión y las facturas. Una encuesta de 2025 sobre los sistemas de inferencia LLM muestra que la mayoría de las pilas de producción siguen estando limitadas por la memoria en la decodificación, y no por los FLOP, lo que significa que a menudo se puede obtener una eficiencia de tiempo de ejecución entre 2 y 4 veces mayor antes de tocar el modelo base.

Desde la perspectiva de un fundador, la optimización de la inferencia LLM se basa en tres aspectos: la reducción de la latencia para que los usuarios no abandonen, un mayor rendimiento por GPU mediante un equilibrio de carga y una inferencia por lotes más inteligentes, y un menor gasto en energía e infraestructura, manteniendo la misma curva de calidad del modelo. Este es exactamente el tipo de proyecto de optimización de la inferencia LLM que nuestro equipo de desarrollo de modelos de lenguaje grandes lleva a cabo, desde la elaboración de perfiles y las decisiones de arquitectura hasta la implementación a nivel de producción.

Los dos cuellos de botella de la inferencia LLM: prellenado y decodificación

Antes de empezar a ajustar el paralelismo tensorial o rezar a los dioses de la caché clave-valor (KV), es útil ver dónde se pierde realmente el tiempo. NVIDIA divide la inferencia LLM en fases de prellenado y decodificación, cada una con diferentes palancas de optimización.

Fase de prellenado: carga del prompt, creación de la caché KV y saturación de la GPU con operaciones matriz-matriz.
Fase de decodificación: generación token por token que se convierte en operaciones matriz-vector y satura el ancho de banda de la memoria, no la computación bruta.

En la práctica, la mayoría de las técnicas de optimización de la inferencia LLM hacen lo siguiente:

Reducen la cantidad de datos movidos por token (por ejemplo, cuantificación del modelo, poda del modelo, almacenamiento en caché más inteligente).
Realizan un trabajo más útil por carga de memoria (por ejemplo, FlashAttention, decodificación especulativa, inferencia por lotes agresiva).

Resumen de las principales técnicas de optimización de la inferencia LLM

Antes de profundizar, aquí tienes una forma rápida de relacionar los enfoques de optimización de la inferencia LLM con tus puntos débiles.

Verás que estos nombres reaparecen en las investigaciones de 2024-2025 en encuestas sobre LLM eficientes y aceleración de la inferencia LLM.

Cuantificación de modelos: reduce la precisión del peso/activación a 8 o 4 bits para reducir la memoria y el ancho de banda de la GPU.
Poda/esparsidad de modelos: pone a cero los pesos sin importancia para acelerar las multiplicaciones matriciales.
Paralelismo tensorial/paralelismo de canalización: divide el modelo entre varias GPU para ejecutar LLM más grandes o reducir los SLA de latencia.
Caché KV y almacenamiento en caché de tokens: reutilizar estados calculados previamente; minimizar el recálculo y el movimiento de memoria.
Inferencia por lotes y programación más inteligente: agrupación dinámica o en vuelo para agrupar diversas solicitudes.
Decodificación especulativa: decodificación de borrador y verificación que puede ofrecer aceleraciones de 1,5 a 3 veces en algunas cargas de trabajo.
Trucos a nivel del sistema: caché KV paginada, equilibrio de carga entre réplicas y motores de inferencia como vLLM que se centran directamente en la fragmentación de la memoria.

Cada técnica tiene sus pros y sus contras; «echarlo todo dentro» es una forma rápida de conseguir un sistema frágil. El resto del artículo es básicamente un manual para apilarlas sin romper la eficiencia del tiempo de ejecución.

Optimización a nivel de modelo: sacar más partido al mismo LLM

Cuando no se quiere volver a entrenar al mundo, pero sí se quiere una inferencia LLM más barata, se empieza por el propio modelo. Encuestas recientes dividen los métodos de optimización de la inferencia LLM en cuantificación, poda, destilación y ajustes de arquitectura.

1. Cuantificación del modelo: la solución más rápida

La mayoría de los LLM se entrenan con una precisión de 16 o 32 bits, pero varios estudios demuestran que los formatos de 8 bits e incluso de 4 bits mantienen la precisión dentro de unos pocos puntos, al tiempo que reducen drásticamente la memoria. En modelos de 7B a 70B, los equipos informan de una inferencia LLM entre 1,5 y 3 veces más rápida simplemente pasando a la cuantificación de modelos de precisión mixta más núcleos optimizados. Pero hay que tener en cuenta que la IA debe adaptarse bien al proyecto actual, y que el desarrollo de la IA no debe limitarse a la moderna etiqueta «IA».

Antes de aplicar la cuantificación, hay que tener en cuenta tres detalles:

Ponderación frente a activaciones: cuantificar solo la ponderación es más fácil y suele ser seguro; la cuantificación de la activación requiere el tratamiento de valores atípicos (por ejemplo, esquemas de tipo LLM.int8).
Compatibilidad con el hardware: las GPU modernas incluyen núcleos tensoriales INT8/FP8; su uso es básicamente velocidad gratuita.
Evaluación: las pruebas de rendimiento de 2025 muestran que los modelos cuantificados pueden desviarse más en tareas de razonamiento de contexto largo, por lo que se necesitan conjuntos de pruebas específicos del dominio, no solo perplejidad genérica.

2. Poda de modelos y dispersión estructurada
Mientras que la cuantificación de modelos reduce los números, la poda de modelos los elimina. Los métodos de dispersión estructurada, como el patrón 2:4 de NVIDIA y algoritmos más recientes como ARMOR, mantienen dos pesos distintos de cero de cada cuatro, lo que coincide con los núcleos dispersos acelerados por hardware.

Investigaciones recientes muestran que:

La poda semiestructurada puede reducir el peso de la memoria en un 50% y seguir conservando la precisión cuando se combina con correcciones de rango bajo.
Cuando se combinan con la cuantificación, los modelos dispersos pueden obtener una reducción adicional de la latencia del 20-40% en la inferencia limitada por la GPU.

¿Cuál es el inconveniente? La poda agresiva suele afectar primero a la seguridad y la calibración, no a los benchmarks principales. Eso es algo que hay que abordar en la estrategia de evaluación, no una razón para omitir la dispersión.

3. Destilación y LLM más pequeños que superan su tamaño
Un número cada vez mayor de trabajos realizados entre 2024 y 2025 muestra que los LLM de 7000 a 20 000 millones bien destilados resuelven hasta el 80-90 % de las consultas de chat y razonamiento de una sola vuelta que antes se enviaban a modelos de más de 70 000 millones. Aquí es donde las técnicas de optimización de la inferencia de LLM se unen a la arquitectura del producto: dirigir las tareas más sencillas a los modelos «estudiantes» y reservar los gigantes para las tareas difíciles.

Proceso típico de destilación:

Elija las tareas del profesor: chat, RAG, código, lo que se adapte a su producto.
Genere datos supervisados a partir del profesor, a menudo con una cadena de pensamiento para cargas de trabajo que requieran mucho razonamiento.
Entrene al alumno y mantenga los presupuestos de latencia como una métrica de primera clase, no como algo secundario.

Cuando se combina un LLM destilado con pesos de baja precisión y decodificación de especificaciones, se empieza a observar un aumento del rendimiento efectivo de entre 5 y 10 veces en la capa de aplicación.

Paralelismo: cuando una GPU no es suficiente

En algún momento, su modelo, ventana de contexto o concurrencia superarán la capacidad de una sola GPU. Ahí es donde entran en juego el paralelismo tensorial y el paralelismo de canalización.

Las encuestas y el propio trabajo de optimización de inferencia de NVIDIA muestran que los enfoques multigpu más comunes son:

Paralelismo tensorial: divide las matrices horizontal o verticalmente para que varias GPU compartan la carga de una capa. Ideal para bloques grandes de atención/MLP.
Paralelismo de canalización: divide las capas en etapas y envía micro lotes a través de una canalización. Funciona bien para secuencias largas, pero hay que gestionar las «burbujas de canalización».
Paralelismo de secuencia: divide operaciones como LayerNorm a lo largo de la dimensión de la secuencia para reducir la memoria de activación.
Esquemas híbridos: combinar el paralelismo tensorial, de canalización y de datos para alcanzar objetivos específicos de reducción de latencia o rendimiento.

Una encuesta de 2025 sobre sistemas de inferencia LLM muestra que los motores de última generación, como vLLM y marcos similares, se basan en ese paralelismo híbrido, además de una inferencia por lotes agresiva y paginación, para mantener alta la utilización de la memoria de la GPU y cumplir al mismo tiempo los SLA por solicitud.

Memoria y almacenamiento en caché: donde la mayoría de los métodos de optimización de la inferencia LLM dan sus frutos

Bonita teoría, pero ¿qué es lo que realmente domina el tiempo real? En contextos largos, los estudios muestran que la carga de la caché KV puede consumir casi todo el tiempo de decodificación de una capa transformadora, especialmente en lotes de mayor tamaño. Por eso, todas las pilas de optimización de inferencia LLM serias se basan en gran medida en estrategias de caché KV y almacenamiento en caché de tokens.

Las encuestas modernas resumen la memoria caché KV aproximadamente así:

Tamaño de la caché KV por token ≈ 2 × (capas) × (tamaño oculto) × (bytes de precisión).
Caché KV total ≈ tamaño del lote × longitud de la secuencia × tamaño por token.

En un modelo de 7B con 32 capas y un tamaño oculto de 4096 dimensiones en FP16, eso supone unos 2 GB de caché para una sola solicitud de 4K tokens, sin tener en cuenta la concurrencia. No es de extrañar que la memoria se sature cuando alguien del departamento de producto pide «vamos a admitir un contexto de 128K».

Almacenamiento en caché y paginación más inteligentes

Aquí es donde las técnicas modernas de optimización de la inferencia LLM se vuelven interesantes:

Caché KV paginada: inspirada en la paginación del sistema operativo, motores como vLLM dividen la caché en páginas de tamaño fijo, las almacenan de forma no contigua y las rastrean a través de tablas de bloques. Esto reduce la fragmentación y permite empaquetar más solicitudes por GPU.
Almacenamiento en caché de tokens para RAG y agentes: almacenamiento en caché de estados intermedios del modelo para prefijos recurrentes (por ejemplo, indicaciones del sistema, perfiles de usuario) para omitir el trabajo redundante de rellenado previo.
Las variantes de atención, como la atención a consultas múltiples y a consultas agrupadas, reducen el número de cabezas clave/valor, lo que reduce el tamaño de la caché para la misma dimensión del modelo.

En conjunto, estas estrategias de optimización de la inferencia LLM suelen desbloquear una concurrencia entre 2 y 4 veces mayor en el mismo hardware, especialmente para cargas de trabajo con mucho chat y avisos del sistema compartidos.

Inferencia por lotes y programación: donde la teoría se encuentra con tu cola

Incluso si tu modelo está perfectamente comprimido, una programación ineficiente puede acabar con la eficiencia de tu tiempo de ejecución. Trabajos recientes sobre colas de inferencia LLM muestran que un procesamiento por lotes deficiente puede duplicar fácilmente la latencia y reducir la utilización de la GPU por debajo del 30 %.

Los lotes estáticos tradicionales esperan a que todas las solicitudes finalicen antes de iniciar el siguiente lote. En el caso de los LLM, esto supone un desajuste, ya que un usuario puede solicitar un resumen de un tuit y otro, un memorándum legal de 10 páginas.

Las estrategias modernas de inferencia por lotes utilizan:

Procesamiento por lotes en vuelo: se eliminan las secuencias terminadas del lote y se incorporan inmediatamente otras nuevas, manteniendo el lote «lleno» sin esperar a la solicitud más larga.
Programación con rendimiento óptimo: algoritmos basados en la teoría de colas que maximizan los tokens por segundo respetando los SLA por solicitud.
Colas de prioridad y enrutamiento consciente de los SLO: los puntos finales de baja latencia tienen su propia política; los trabajos en segundo plano pueden absorber la capacidad sobrante.

Un sistema de 2025, UELLM, informa de una reducción de la latencia del 72-90 % y una mejora de hasta 4,1 veces en la utilización de la GPU en comparación con los programadores ingenuos, simplemente combinando un procesamiento por lotes más inteligente y la creación de perfiles de recursos.

Decodificación especulativa y trucos de inferencia avanzados

Si la inferencia por lotes y el almacenamiento en caché KV son su «pan de cada día», los métodos especulativos son el espresso. Se centran directamente en el cuello de botella de la decodificación generando múltiples tokens en paralelo.

La decodificación especulativa utiliza un modelo preliminar económico (o un proceso especulativo) para proponer varios tokens futuros y, a continuación, los verifica en paralelo con el LLM principal.

Los resultados recientes muestran:

Una aceleración de 1,5 a 3,5 veces superior a la decodificación autorregresiva estándar en múltiples pruebas de rendimiento, al tiempo que se preserva la distribución de la salida.
Las ventajas son mayores en lotes de tamaño pequeño a mediano; en lotes muy grandes, el consumo de energía puede aumentar si no se ajustan los parámetros con cuidado.
Las nuevas variantes, como QuantSpec, añaden cuantificación de modelos a la caché KV y a los pesos, lo que muestra tasas de aceptación superiores al 90 % y aceleraciones de hasta 2,5 veces para la inferencia LLM de contexto largo.

La especulación también se combina muy bien con el paralelismo tensorial y las cachés KV paginadas en configuraciones distribuidas, especialmente en el borde, donde el ancho de banda es muy valioso.

Energía, coste y sostenibilidad

El funcionamiento de los LLM no solo es caro, sino que también consume mucha energía. Un análisis de 2025 sobre la energía de inferencia de los LLM muestra que:

Las estimaciones ingenuas basadas en FLOP subestiman drásticamente el consumo energético real.
La aplicación de un conjunto de técnicas de optimización de la inferencia de LLM (inferencia por lotes, almacenamiento en caché KV, cuantificación de modelos y decodificación especulativa) puede reducir el consumo energético hasta en un 73 % en comparación con las bases de referencia no optimizadas.
La decodificación especulativa es más útil con lotes de menor tamaño; en el caso de lotes enormes, la decodificación autorregresiva clásica puede resultar más eficiente desde el punto de vista energético.

Esto es importante cuando la junta directiva pregunta tanto por las facturas de la nube como por los informes ESG. Con las técnicas adecuadas de optimización de la inferencia LLM, se puede mejorar la «inteligencia por vatio» en lugar de solo los «tokens por segundo».

Ejemplo de pila de optimización para un LLM de producción

Para que esto sea más concreto, aquí hay una vista simplificada y paso a paso de cómo un equipo típico moderniza su optimización de la inferencia LLM:

1. Referencia y perfil

Mida los tokens/segundo, la latencia de cola y el coste por millón de tokens en los flujos clave.
Capture las longitudes de contexto, la concurrencia y las rutas más utilizadas (por ejemplo, RAG, herramientas, agentes).

2. Aplique cambios de modelo de bajo riesgo

Habilite la cuantificación de modelos de 8 bits para los pesos; valide las métricas de dominio.
Introducir una poda de modelos suave y compatible con el hardware (por ejemplo, dispersión 2:4) en capas seleccionadas.

3. Optimizar la memoria y el almacenamiento en caché.

Pasar a un motor de caché KV paginado como las arquitecturas de estilo vLLM; habilitar el almacenamiento en caché de tokens para prefijos compartidos.
Supervisar el margen de memoria de la GPU para evitar el desbordamiento y la fragmentación bajo carga.

4. Mejorar el procesamiento por lotes y la programación

Cambiar del procesamiento por lotes estático al procesamiento por lotes en vuelo; ajustar los tamaños de los lotes por punto final.
Introducir programadores sensibles a los SLO para diferentes niveles de latencia.

5. Incorporar métodos especulativos.

Añadir decodificación especulativa para el chat y las respuestas breves; ajustar la longitud del borrador y los umbrales de aceptación.
Evaluar la energía por token para evitar regresiones en lotes de gran tamaño.

6. Considere la destilación y el dimensionamiento adecuado

Destile un LLM más pequeño para el 70-80 % del tráfico que no necesita modelos de vanguardia.
Enrute las consultas de forma dinámica en función de la complejidad y la profundidad de razonamiento requerida.

Al seguir esta secuencia, los equipos suelen observar mejoras de entre 3 y 10 veces en el rendimiento y una latencia más predecible sin necesidad de reescribir todo su producto.

Conclusión

En la optimización de la inferencia LLM, no existe una solución milagrosa; las ganancias provienen de la combinación de la cuantificación de modelos, la poda de modelos, la inferencia por lotes más inteligente y la gestión de la caché KV consciente de la memoria en un único diseño coherente. Encuestas recientes de 2025 muestran que los equipos que combinan estas técnicas de optimización de la inferencia LLM con un buen paralelismo tensorial, paralelismo de canalización y decodificación especulativa suelen alcanzar un rendimiento entre 3 y 10 veces mayor sin cambiar el modelo base.

Al mismo tiempo, el consumo energético es tan importante como la latencia: el riguroso trabajo de ACL 2025 sobre la inferencia LLM muestra que el uso cuidadoso de estos métodos de optimización de la inferencia LLM puede reducir el consumo energético hasta en un 73 % en comparación con un servicio ingenuo, lo que normalmente se traduce directamente en un menor gasto en la nube y una línea ESG más favorable en sus informes. Tanto si le preocupa más la reducción de la latencia, la economía unitaria o la «inteligencia por vatio», la estrategia es la misma: perfilar dónde invierten realmente su tiempo sus LLM y, a continuación, aplicar optimizaciones específicas en lugar de activar ciegamente todas las opciones de «optimización» que vea.

Si eso le parece el tipo de trabajo que prefiere no depurar solo a las 2 de la madrugada, póngase en contacto con nosotros para ver cómo puede ayudarle un socio experimentado, desde la elección de la pila de optimización de inferencia LLM y el marco de servicio adecuados hasta la conexión en caché, el equilibrio de carga y la observabilidad de nivel de producción en torno a sus modelos.