Cómo funcionan los modelos de generación de imágenes

Escribes una frase y aparece una imagen que nadie ha dibujado. Detrás de un modelo de difusión hay una idea muy concreta: partir de ruido aleatorio e ir quitándolo poco a poco, guiado por el texto, hasta que queda una imagen.

Vamos a ver cómo se entrena esa habilidad, qué piezas intervienen, qué ocurre desde que escribes la instrucción hasta que sale el resultado y qué controlan los ajustes más vistos, con la documentación de Diffusers, la biblioteca de Hugging Face, y con los artículos originales de estos modelos, consultados el 3 de noviembre de 2026.

---

La idea: añadir ruido y aprender a quitarlo

El pipeline básico que enseña esa documentación, DDPM, viene de un artículo de Jonathan Ho, Ajay Jain y Pieter Abbeel, «Denoising Diffusion Probabilistic Models», enviado el 19 de junio de 2020. Sus autores presentan resultados de síntesis de imágenes de alta calidad con modelos probabilísticos de difusión, una clase de modelos inspirada en consideraciones de la termodinámica fuera del equilibrio.

El entrenamiento se entiende bien con el tutorial de la biblioteca. Se toma una imagen del conjunto de datos, se elige al azar un instante del proceso y se le aplica ruido siguiendo un calendario de ruido y una regla de actualización. Esa imagen estropeada pasa por el modelo, cuyo objetivo es predecir el ruido que se le ha añadido, y la pérdida se calcula comparando esa predicción con el ruido real. El tutorial lo hace con un programador de 1.000 instantes de entrenamiento y con una parte del conjunto de mariposas del Smithsonian.

Lo que sale de ahí es un modelo que genera imágenes parecidas a las del conjunto con el que se entrenó. El mismo tutorial lo llama generación incondicional: todavía sin texto de por medio.

Para generar se recorre el camino contrario. A muy alto nivel, resume la guía de texto a imagen, un modelo de difusión toma una instrucción y un ruido inicial aleatorio y elimina ese ruido de forma iterativa para construir una imagen. La instrucción guía esa limpieza y, tras un número prefijado de pasos, lo obtenido se decodifica en una imagen.

---

Las piezas de un modelo de generación

La biblioteca llama «pipeline» al conjunto que lo agrupa todo por comodidad: en el centro de su caja de herramientas están los modelos y los programadores, y el pipeline los une. El básico lleva solo dos cosas: un modelo UNet y un programador. En cada instante, el modelo predice el ruido sobrante y el programador usa esa predicción para calcular una imagen algo menos ruidosa.

El programador de ruido es la pieza que más cambia de papel. Durante el entrenamiento añade ruido a una muestra, y hay distintos algoritmos para hacerlo; durante la generación define cómo se actualiza la muestra a partir de la salida del modelo ya entrenado. Para eso recibe esa salida y el instante en el que está, un dato importante porque dice en qué punto del proceso se encuentra.

Stable Diffusion es más complejo. La guía desmonta su pipeline en tres modelos preentrenados separados: el VAE, el UNet y el codificador de texto. A diferencia del programador, estos tres tienen pesos entrenables. Su codificador es CLIP ViT-L/14, congelado, y el conjunto se apoya además en un tokenizador que prepara el texto. La documentación habla de un UNet de 860M y de un codificador de texto de 123M, y califica el modelo de relativamente ligero, capaz de funcionar en gráficas de consumo.

Este es el reparto de papeles, con lo que dicen sus definiciones:

---

Qué pasa desde que escribes la instrucción

El recorrido completo está escrito paso a paso en la guía de Stable Diffusion, y tiene cuatro tramos.

Primero, el texto. La instrucción se trocea y se convierte en representaciones numéricas. Ese texto sirve para condicionar al UNet y dirigir la difusión hacia algo que se parezca a lo pedido. A la vez se generan otras representaciones sin condición, las del token de relleno, con la misma forma, y las dos se unen en un lote para evitar dos pasadas por el modelo.

Segundo, el ruido. Se genera un ruido aleatorio inicial como punto de partida. Esa es ya la representación latente de la imagen, que se irá limpiando gradualmente. Es más pequeña que la imagen final: alto y ancho se dividen entre 8, porque el VAE tiene 3 capas de reducción.

Tercero, el bucle. Es el corazón del sistema, y la guía lo reduce a tres tareas: fijar los instantes del programador, recorrerlos y, en cada uno, llamar al UNet para que prediga el ruido sobrante y pasárselo al programador para que calcule la muestra anterior. El ejemplo básico usa 50 instantes repartidos por igual, de 980 a 0. El resultado de cada vuelta es la entrada de la siguiente, hasta agotar la lista. La propia documentación concluye que todo lo que hace falta para escribir un sistema de difusión propio es ese bucle.

Cuarto, la imagen. Con el bucle acabado, el VAE decodifica la representación latente y la convierte en la imagen final.

---

Qué es el espacio latente y por qué se usa

Stable Diffusion es un modelo de difusión latente. Se llama así porque trabaja con una representación de la imagen de menor dimensión en lugar del espacio real de píxeles, lo que lo hace más eficiente en memoria. El codificador comprime la imagen en esa representación más pequeña y el decodificador la devuelve a imagen.

La razón de fondo está en el artículo de Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser y Björn Ommer, enviado el 20 de diciembre de 2021, la investigación sobre la que se construyó Stable Diffusion. Su resumen plantea el problema así: como estos modelos suelen operar directamente en el espacio de píxeles, optimizar los más potentes consume a menudo cientos de días de GPU, y generar sale caro por las evaluaciones en secuencia.

Su solución es aplicar la difusión en el espacio latente de autocodificadores potentes ya entrenados. Los autores defienden que así se llega por primera vez a un punto casi óptimo entre reducir la complejidad y conservar el detalle, y que los requisitos de cálculo bajan de forma significativa frente a los modelos que trabajan en píxeles.

El mismo trabajo explica cómo entra el texto: al introducir capas de atención cruzada en la arquitectura, los modelos de difusión pasan a ser generadores flexibles para entradas de condición generales, como un texto o unos recuadros delimitadores. También recuerda algo que enlaza con lo siguiente: la formulación de estos modelos admite un mecanismo de guía para controlar la generación sin volver a entrenar.

---

Pasos, escala de guía y semilla

Los pasos son el número de vueltas de limpieza, el parámetro num_inference_steps. En la referencia del pipeline vale 50 por defecto, y su definición es clara: más pasos suelen dar una imagen de más calidad, a costa de una generación más lenta. La guía desmontada usa 25 en su ejemplo. Hay modelos diseñados para necesitar muchos menos: Stable Diffusion 3.5 Turbo, en la página de la compañía que lo publica, se anuncia capaz de generar imágenes de alta calidad en solo cuatro pasos.

La escala de guía, guidance_scale, marca cuánto influye la instrucción. Con un valor bajo, el modelo tiene «creatividad» para generar algo más vagamente relacionado con lo pedido; con uno alto, se ciñe más a la instrucción, y si es demasiado alto pueden aparecer artefactos en la imagen. Por dentro, el bucle hace una resta: toma la predicción sin condición y le suma, multiplicada por la escala, la diferencia con la predicción condicionada por el texto. La referencia de Stable Diffusion fija 7,5 por defecto y la activa por encima de 1.

La semilla responde a otra pregunta: por qué sale distinta cada vez. La guía de reproducibilidad lo dice sin rodeos: la difusión es un proceso aleatorio que genera un resultado diferente cada vez, porque los pipelines usan una semilla aleatoria distinta para crear los ruidos iniciales. Si se fija la semilla con un generador, la misma ejecución debería devolver el mismo resultado, dentro de un cierto margen de tolerancia. Dos detalles prácticos: el generador en el procesador es más estable entre máquinas, y el objeto cambia de estado al usarse, de modo que hay que volver a fijar la semilla antes de cada llamada si se quiere repetir la imagen.

---

Del UNet al transformador

El UNet tiene alternativa. FLUX, explica la biblioteca, es una serie de modelos de texto a imagen basados en transformadores de difusión, de Black Forest Labs. Las piezas se reconocen: un transformador condicional que elimina el ruido de los latentes, un VAE, un programador y dos codificadores de texto, CLIP y T5. Su escala de guía vale 3,5 por defecto, y los valores mayores animan a generar imágenes más alineadas con la instrucción, a costa de una calidad menor.

La misma página avisa de que ejecutarlo en equipos de consumo puede resultar bastante costoso, y de que puede beneficiarse de la cuantización para ahorrar memoria, con una contrapartida en el tiempo de generación. Esa técnica la explicamos en Qué es la cuantización de modelos y cómo reduce los requisitos.

En las páginas de los fabricantes aparece además otro término: los «flujos». En su trabajo sobre SD3.5-Flash, los responsables de Stable Diffusion describen cómo condensar modelos de flujo rectificado para generar en pocos pasos. Y en la presentación de FLUX 3, del 23 de julio de 2026, sus creadores explican que aprende a la vez de imágenes, vídeos y audio en una arquitectura unificada, y que todas sus capacidades parten del mismo modelo multimodal de emparejamiento de flujos.

---

De dónde salen los datos de entrenamiento

Stable Diffusion fue creado por investigadores e ingenieros de CompVis, Stability AI, Runway y LAION, y se entrenó con imágenes de 512×512 de un subconjunto de LAION-5B. Su versión 1.5, según la guía de texto a imagen, se afinó durante 595.000 pasos con imágenes de 512×512 de LAION-Aesthetics V2.

Esos datos dejan huella también en los ajustes: los modelos pueden tener tamaños de imagen por defecto distintos en función de los tamaños de su conjunto de entrenamiento. Stable Diffusion v1.5 saca 512×512 y SDXL, 1024×1024, y bajar de ahí puede dar peor calidad.

El tratamiento de esos datos lo cuenta cada fabricante. La página de seguridad de Stability AI dice que, en las versiones de Stable Diffusion desarrolladas solo por ella, aplica filtros a los datos de entrenamiento para retirar imágenes no seguras antes de que lleguen al modelo, y que los revisa para excluir contenido ilegal. Los creadores de FLUX, por su parte, cuentan que aumentaron de forma significativa sus recursos de cálculo y de datos para entrenar FLUX 3 con vídeo, imágenes y audio al mismo tiempo.

Con todo eso, la próxima vez que una instrucción te devuelva una imagen, ya sabes lo que ha pasado por dentro: ruido, unas cuantas vueltas de limpieza dirigidas por tu texto y un decodificador que lo convierte todo en píxeles.

---

Te puede interesar

Tech Planet participa en el programa de afiliados de Amazon. Si compras a través de estos enlaces, recibimos una pequeña comisión sin coste extra para ti, lo que nos ayuda a seguir creando contenido como este.