Wie Diffusionsmodelle Bilder erzeugen: die Mathematik, die Architektur, die Sampler

Wie Diffusionsmodelle Bilder erzeugen: die Mathematik, die Architektur, die Sampler

Ein Diffusionsmodell zeichnet nicht. Es kehrt eine Zerstörung um. Nehmen Sie ein echtes Bild, fügen Sie etwas gaußsches Rauschen hinzu, wiederholen Sie das tausendmal — und das Bild löst sich in reines Rauschen auf. Ein Diffusionsmodell lernt das Gegenteil: Bei einem verrauschten Bild und einer Schrittzahl sagt es voraus, wie man etwas Rauschen entfernt. Um zu generieren, starten Sie mit reinem Rauschen und gehen diesen umgekehrten Pfad zurück zum Bild. Diese eine Idee — das Umkehren einer rauschaddierenden Markov-Kette zu lernen — ist der Motor hinter Stable Diffusion, DALL·E, Midjourney, FLUX und den meisten heute eingesetzten Bildmodellen.

Dieser Artikel ist der vollständige technische Überblick, fundiert in den Primärquellen. Behandelt werden die Mathematik (das DDPM-Ziel, Score Matching und die SDE/ODE-Vereinheitlichung), die Architekturen (U-Net → Latent Diffusion → Diffusion Transformers → MMDiT), die Sampler, die eine tausendstufige Kette auf zehn Schritte verkürzen (DDIM, classifier-free guidance, DPM-Solver, EDM), und der Conditioning-Stack, der ein Modell einen Text-Prompt befolgen lässt (CLIP/T5, Cross-Attention, ControlNet, LoRA). Jede Gleichung und Zahl stammt aus der zitierten Arbeit.

[video: Reversing the Noise — Mohammed Kmail]

Der Vorwärtsprozess: ein Bild mit Rauschen zerstören

Der Ausgangspunkt ist das Denoising Diffusion Probabilistic Model (DDPM) von Ho, Jain und Abbeel (2020). Ein Diffusionsmodell ist ein latentes Variablenmodell, dessen latente Variablen dieselbe Dimensionalität wie die Daten aufweisen. Der Vorwärtsprozess (auch Diffusionsprozess genannt) ist eine feste Markov-Kette, die schrittweise gaußsches Rauschen zu den Daten hinzufügt, gemäß einem Varianzplan β_1, …, β_T:

q(x_1:T | x_0) = ∏_{t=1}^{T} q(x_t | x_{t-1}),   q(x_t | x_{t-1}) = N(x_t; √(1-β_t) x_{t-1}, β_t I)   (Eq. 2)

Jeder Schritt skaliert das vorherige Bild um √(1-β_t) herunter und fügt gaußsches Rauschen mit der Varianz β_thinzu. Die Arbeit hebt die entscheidende Eigenschaft hervor, dass dies das Sampling x_t zu einem beliebigen Zeitpunkt in geschlossener Form ermöglicht. Mit α_t := 1-β_t und ᾱ_t := ∏_{s=1}^{t} α_s:

q(x_t | x_0) = N(x_t; √ᾱ_t x_0, (1-ᾱ_t) I)   (Eq. 4)

Das ist die zentrale Gleichung für das Training. Da die Randverteilung in geschlossener Form vorliegt, muss man nie die gesamte Kette simulieren, um eine verrauschte Probe zum Schritt t zu erhalten — man nimmt ein sauberes Bild x_0, skaliert es um √ᾱ_tund fügt Rauschen mit der Varianz 1-ᾱ_thinzu. Wenn t wächst, ᾱ_t schrumpft gegen null und das Bild wird schrittweise zerstört. Das DDPM-Paper verwendet einen linearen Schedule von β_t von β_1 = 10⁻⁴ bis β_T = 0.02 über T = 1000 Schritte.

Der Reverse-Prozess: Denoising lernen

Der Reverse-Prozess ist eine Markov-Kette mit gelernten Gauß-Übergängen, beginnend mit reinem Rauschen p(x_T) = N(x_T; 0, I):

p_θ(x_0:T) := p(x_T) ∏_{t=1}^{T} p_θ(x_{t-1} | x_t),   p_θ(x_{t-1} | x_t) := N(x_{t-1}; μ_θ(x_t, t), Σ_θ(x_t, t))   (Eq. 1)

Das Paper erklärt, warum Gauß-Bedingungen ausreichen: „When the diffusion consists of small amounts of Gaussian noise, it is sufficient to set the sampling chain transitions to conditional Gaussians too, allowing for a particularly simple neural network parameterization.“ Das Training optimiert die variationale Schranke der negativen Log-Likelihood (den ELBO):

E[-log p_θ(x_0)] ≤ E_q[-log p_θ(x_0:T) / q(x_1:T | x_0)] =: L   (Eq. 3)

Die Schranke zerfällt in eine Summe von KL-Divergenzen zwischen der Posterior des Forward-Prozesses und den gelernten Reverse-Übergängen. Die entscheidende Vereinfachung ergibt sich durch die Reparametrisierung des Modells, um das Rauschen ε statt des Mittelwerts vorherzusagen. Das Paper zeigt, dass mit der ε-Prediction-Parametrisierung der Verlust pro Schritt auf einen einfachen mittleren quadratischen Fehler zwischen dem wahren Rauschen und der Vorhersage des Modells reduziert wird:

L_simple := E_{x_0, ε} [ || ε - ε_θ(√ᾱ_t x_0 + √(1-ᾱ_t) ε, t) ||² ]   (Eq. 14, simplified)

Das ist die gesamte Trainingsroutine. Es wird ein zufälliger Zeitschritt tgewählt, Gauß-Rauschen εgesampelt, das Bild zu x_tverrauscht und das Netz darauf trainiert, ε aus x_t und twiederherzustellen. Algorithmus 1 des Papers lautet exakt: sample t ~ Uniform({1,…,T}), sample ε ~ N(0, I), dann führe einen Gradienten-Schritt auf ∇_θ ||ε - ε_θ(√ᾱ_t x_0 + √(1-ᾱ_t) ε, t)||²aus.

Das Paper stellt dies als zentralen Beitrag heraus: „a certain parameterization of diffusion models reveals an equivalence with denoising score matching over multiple noise levels during training and with annealed Langevin dynamics during sampling.“ Auf unkonditionalem CIFAR-10 erreichte DDPM einen Inception-Score von 9,46 und einen State-of-the-Art-FID von 3.17 — das erste Mal, dass ein Diffusionsmodell mit GANs ohne adversarielles Training gleichzog.

Die Score-Matching-Perspektive: Lernen des Gradienten der Datendichte

Das DDPM-Paper stellt explizit eine Verbindung zu score-based generative modelsher. Song und Ermon (2019) führten die Idee ein, Samples mittels Langevin dynamics zu generieren, indem sie Gradienten der Datenverteilung nutzten, die mit Score Matching geschätzt wurden. Der score ist der Gradient der logarithmischen Dichte — ∇_x log p(x) ein Vektorfeld, das auf Bereiche hoher Wahrscheinlichkeit zeigt. Ihr zentraler Gedanke: „Da Gradienten schlecht definiert und schwer zu schätzen sind, wenn die Daten auf niedrigdimensionalen Mannigfaltigkeiten liegen, werden die Daten mit verschiedenen Stufen gaußschen Rauschens gestört und die entsprechenden Scores gemeinsam geschätzt.“ Dies ist das Noise-Conditional Score Network (NCSN), und das Sampling erfolgt mittels annealed Langevin dynamics — „die Schätzung verwendet Gradienten, die schrittweise abnehmenden Rauschpegeln entsprechen, während sich der Sampling-Prozess der Datenmannigfaltigkeit annähert.“

Die Verbindung ist tiefgreifend: Die Vorhersage des Rauschens ε im DDPM ist mathematisch äquivalent zur Schätzung des Scores der gestörten Datenverteilung. Das Rauschen, das das Modell vorhersagt, zeigt in Richtung des Scores, skaliert. Deshalb „ähnelt“ der DDPM-Verlust „dem Denoising Score Matching über mehrere, durch t indizierte Rauschskalen.“

Die Vereinheitlichung: Diffusion als stochastische Differentialgleichung

Song, Sohl-Dickstein, Kingma, Kumar, Ermon und Poole (2021) vereinten beide Familien unter einem gemeinsamen Rahmen. Ihr Paper „Score-Based Generative Modeling through Stochastic Differential Equations“ zeigt, dass sowohl DDPM als auch Score Matching Diskretisierungen desselben kontinuierlichen Prozesses sind. Der Forward-Prozess ist eine SDE, die „eine komplexe Datenverteilung durch schrittweises Hinzufügen von Rauschen in eine bekannte Prior-Verteilung überführt“, und es gibt eine entsprechende reverse-time SDE , die „die Prior-Verteilung durch schrittweises Entfernen des Rauschens zurück in die Datenverteilung transformiert“. Entscheidend: „Die reverse-time SDE hängt nur vom zeitabhängigen Gradientenfeld (auch Score genannt) der gestörten Datenverteilung ab.“

Das Paper leitet auch eine äquivalente probability flow ODE ab — eine deterministische gewöhnliche Differentialgleichung, die „aus derselben Verteilung wie die SDE sampelt, aber zusätzlich exakte Likelihood-Berechnung und verbesserte Sampling-Effizienz ermöglicht“. Diese ODE ist die theoretische Grundlage der heute verwendeten schnellen Sampler. Das Paper führte ein Predictor-Corrector-Framework ein und erzielte rekordverdächtige CIFAR-10-Ergebnisse: Inception Score 9,89, FID 2,20und „erstmals hochauflösende Generierung von 1024×1024-Bildern mit einem score-basierten generativen Modell.“

Die Architektur: Vom U-Net zu Diffusion Transformers

Das Netzwerk, das das Rauschen vorhersagt, ist das Herzstück des Systems — und hat zwei Generationen durchlaufen. Das DDPM-Paper führte das U-Net -Backbone ein — einen konvolutionellen Encoder-Decoder mit Skip-Verbindungen, übernommen von PixelCNN++ mit einigen Anpassungen. Das DiT-Paper beschreibt es präzise: „The model is convolutional, comprised primarily of ResNet blocks,“ mit „additional spatial self-attention blocks... interspersed at lower resolutions.“ Der Zeitschritt t wird über ein sinusoidales Positional Embedding eingebracht, und das Modell wird über adaptive Normalisierungsschichten darauf konditioniert.

Nichol und Dhariwal (2021) verbesserten das Rezept in „Improved Denoising Diffusion Probabilistic Models“, indem sie einen cosine noise schedule (den das SD3-Paper später übernahm) einführten und die Varianz des Reverse-Prozesses Σ_θ lernten — statt sie festzulegen. Beide Maßnahmen verbesserten die Sample-Qualität und die Log-Likelihood deutlich.

Latent Diffusion: Der Schritt, der es praxistauglich machte

Die folgenreichste architektonische Entscheidung trafen Rombach, Blattmann, Lorenz, Esser und Ommer (2022) mit ihrem Latent Diffusion Model (LDM) — der Grundlage von Stable Diffusion. Das Problem von Pixel-Space-Diffusion ist der Aufwand: „optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations.“ Das Paper zitiert 150–1000 V100 days , um die leistungsstärksten Pixel-Space-Modelle zu trainieren, und stellt fest: „producing 50k samples takes approximately 5 days on a single A100 GPU.“

Die Lösung: Den Diffusionsprozess im latenten Raum eines vortrainierten Autoencoders statt im Pixel-Space ablaufen zu lassen. Die Argumentation des Papers: „we apply them in the latent space of powerful pretrained autoencoders.“ Der Encoder downsamplet das Bild um den Faktor f, und das Paper untersucht f ∈ {1, 2, 4, 8, 16, 32}. Das Ergebnis: „LDM-4 and -8 offer the best conditions for achieving high-quality synthesis results“ — ein Downsampling-Faktor von 4× oder 8×. Deshalb arbeitet Stable Diffusion mit einem 64×64-Latent für ein 512×512-Bild: Das Diffusionsmodell operiert in einem 64× kleineren Raum, anschließend skaliert ein VAE-Decoder das Latent zurück zu Pixeln. Das Paper berichtet, dass LDMs „significantly reduc[e] computational requirements compared to pixel-based DMs.“

Das LDM-Paper führte zudem den cross-attention conditioning mechanismein: „By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes.“ Dieser Mechanismus ermöglicht es, dass ein Text-Prompt die Generierung steuert — die Text-Token attendieren in die räumlichen Features des U-Nets auf jeder Auflösung.

Diffusion Transformers: Der Shift durch Skalierungsgesetze

Peebles und Xie (2023) zeigten, dass der U-Net-Induktionsbias nicht essenziell ist. Ihr Diffusion Transformer (DiT) ersetzt das U-Net durch einen Transformer, der auf latenten Patches operiert: „We train latent diffusion models of images, replacing the commonly-used U-Net backbone with a transformer that operates on latent patches.“ Die zentrale Erkenntnis des Papers ist ein klares Skalierungsgesetz: „DiTs with higher Gflops—through increased transformer depth/width or increased number of input tokens—consistently have lower FID.“

Für das Conditioning stellte DiT fest, dass adaptive Layer Norm (adaLN-Zero) schneidet unter den getesteten Varianten (adaptive Layer Norm, Cross-Attention und zusätzliche Input-Tokens) am besten ab. Ihr größtes Modell, DiT-XL/2, erreichte einen State-of-the-Art-FID von 2,27 auf class-conditional ImageNet 256×256 mit einem leistungsstarken Backbone von 118.6 Gflops. Damit etablierte sich das Muster, dem moderne Bildmodelle folgen: Transformers skalieren vorhersehbar mit Rechenleistung.

MMDiT und Rectified Flow: das moderne Backbone

Die aktuelle Generation — Stable Diffusion 3 und FLUX — baut auf Esser et al. (2024) MMDiT (multimodaler DiT) und rectified flow. Das Paper „Scaling Rectified Flow Transformers for High-Resolution Image Synthesis“ setzt zwei Akzente. Erstens ersetzt es den Diffusions-Forward-Prozess durch rectified flow, das „Daten und Rauschen auf einer geraden Linie verbindet“ — ein gerader Pfad, der „mit einem einzigen Schritt simuliert werden kann und weniger anfällig für Fehlerakkumulation ist“, anders als gekrümmte Pfade, die „viele Integrationsschritte erfordern“. Zweitens führt es eine Architektur ein, die „separate Gewichte für die beiden Modalitäten vorsieht und einen bidirektionalen Informationsfluss zwischen Bild- und Text-Tokens ermöglicht, was das Textverständnis, die Typografie und die Bewertungen nach menschlichen Präferenzen verbessert.“

Das Paper zeigt „einen vorhersehbaren Skalierungstrend im Validierungsverlust“ und belegt, „dass ein niedrigerer Validierungsverlust stark mit einer verbesserten Text-zu-Bild-Synthese korreliert“. Dies ist die Architektur hinter den heute verfügbaren hochwertigsten offenen Text-zu-Bild-Modellen.

Sampling: aus 1000 Schritten 10 machen

Training ist eine Sache, Generierung eine andere. Ein naiver DDPM benötigt alle T = 1000 Reverse-Schritte, jeder eine vollständige Netzwerkauswertung. Das gesamte Feld des schnellen Samplings existiert, um diese Zahl zu reduzieren, und basiert auf der Probability-Flow-ODE aus dem SDE-Paper: Sampling ist das numerische Lösen einer ODE, und bessere Solver bedeuten weniger Schritte.

DDIM: deterministisch, nicht-Markovsch, 10–50× schneller

Song, Meng und Ermon (2021) stellten Denoising Diffusion Implicit Models (DDIM)vor. Die Erkenntnis: Der generative Prozess von DDPM ist „die Umkehrung eines bestimmten Markovschen Diffusionsprozesses“, aber man kann verallgemeinern zu „einer Klasse nicht-Markovscher Diffusionsprozesse, die zum selben Trainingsziel führen“. Diese „können generativen Prozessen entsprechen, die deterministisch sind und implizite Modelle hervorbringen, die hochwertige Samples viel schneller erzeugen“. Das zentrale Ergebnis: „DDIMs können hochwertige Samples 10× bis 50× schneller in Echtzeit erzeugen als DDPMs.“ Da der Prozess deterministisch ist, ermöglicht DDIM auch „semantisch sinnvolle Bildinterpolation direkt im latenten Raum“ — eine Eigenschaft, die latenzraum-basierte Bearbeitung möglich macht.

Classifier-free Guidance: der Regler für die Wiedergabetreue

Die wichtigste Sampling-Technik für Text-zu-Bild ist classifier-free guidance (CFG) von Ho und Salimans (2022). Die Idee: „Ein bedingtes und ein unbedingtes Diffusionsmodell werden gemeinsam trainiert, und die resultierenden bedingten und unbedingten Score-Schätzungen werden kombiniert, um einen Trade-off zwischen Sample-Qualität und Diversität zu erreichen.“ In der Praxis wird das Modell trainiert, das Rauschen sowohl mit als auch ohne Bedingung (die Bedingung wird während des Trainings zufällig weggelassen) vorherzusagen, und zum Sampling-Zeitpunkt werden die beiden Schätzungen mit einem Guidance-Gewicht kombiniert w:

ε_guided = ε_θ(x_t, t) + w · (ε_θ(x_t, t, c) - ε_θ(x_t, t))

Höhere w drückt das Sample stärker in Richtung der Bedingung — präzisere Prompt-Umsetzung, aber weniger Diversität und Risiko von Übersättigung. Niedrigere w bringt mehr Vielfalt, aber eine schwächere Prompt-Treue. Dies ist die „Guidance Scale“, die Sie in jeder Bildgenerierungs-UI sehen, und sie ist der direkte Nachfolger des im Paper beschriebenen Trade-offs zwischen Classifier-Guidance: „trade off mode coverage and sample fidelity.“

DPM-Solver und EDM: ODE-Solver höherer Ordnung

Lu, Zhou, Bao, Chen, Li und Zhu (2022) trieben das Sampling voran auf 10–20 Funktionsauswertungen mit DPM-Solver. Ihr zentraler Beitrag ist eine „exakte Formulierung der Lösung von Diffusions-ODEs“, die „den linearen Teil der Lösung analytisch berechnet, statt alle Terme Black-Box-ODE-Solvern zu überlassen“. Das Ergebnis: „DPM-Solver kann hochwertige Samples in nur 10 bis 20 Funktionsauswertungen auf verschiedenen Datensätzen generieren“ und erreichte 4.70 FID in 10 function evaluations und 2.87 FID in 20 auf CIFAR-10, ein 4–16× speedup gegenüber früheren trainingsfreien Samplern.

Karras, Aittala, Aila und Laine (2022) schlugen in „Elucidating the Design Space of Diffusion-Based Generative Models“ (EDM)einen anderen, stärker empirischen Weg ein. Sie argumentierten, das Feld sei „unnötig verkompliziert“ und „präsentieren einen Design-Space, der die konkreten Design-Entscheidungen klar trennt“ — den Rauschplan, die Preconditioning der Score-Netzwerke und den Sampler. Ihre Verbesserungen führten zu „neuen State-of-the-Art-FID-Werten von 1,79 für CIFAR-10 im klassenbedingten Setting und 1,97 im unbedingten Setting, mit deutlich schnellerem Sampling (35 Netzwerkauswertungen pro Bild)“. Das EDM-Framework ist die Grundlage der k-diffusion-Sampler, die im gesamten Ökosystem eingesetzt werden.

Conditioning: Wie ein Prompt das Rauschen steuert

Ein Diffusionsmodell, das nur entrauscht, erzeugt zufällige Bilder. Um es an einen Prompt zu binden, wird es konditioniert. Der Text wird zunächst von einem vortrainierten Text-Encoder in einen Vektor umgewandelt und dann in das Netzwerk eingespeist. Stable Diffusion nutzt den CLIP Text-Encoder (Radford et al., 2021), der darauf trainiert wurde, 400 million (image, text) pairs vorherzusagen, welcher Bildunterschrift welches Bild zugeordnet wird — eine Repräsentation, die „Zero-Shot-Transfer des Modells auf Downstream-Aufgaben ermöglicht“. Moderne Modelle wie SD3 und FLUX verwenden zusätzlich einen T5 Text-Encoder (Raffel et al., 2020) für ein besseres Sprachverständnis. Die Text-Token werden über die im LDM-Paper eingeführten Cross-Attention-Layer in das U-Net eingespeist.

ControlNet: Räumliche Steuerung ohne Neuanpassung

Text allein kann Pose, Tiefe oder Kanten nicht spezifizieren. Zhang, Rao und Agrawala (2023) stellten ControlNetvor, das „produktionsreife große Diffusionsmodelle einfriert und deren tiefe, robuste Encoding-Layer, die mit Milliarden von Bildern vortrainiert wurden, als starke Backbone nutzt, um eine Vielzahl konditionaler Steuerungen zu erlernen“. Der Mechanismus ist elegant: Eine trainierbare Kopie des Netzwerks wird hinzugefügt, verbunden über „Zero Convolutions (mit Null initialisierte Faltungsschichten), die die Parameter schrittweise von Null aus aufbauen und sicherstellen, dass kein schädliches Rauschen das Fine-Tuning beeinträchtigt“. Da das Basismodell eingefroren bleibt, kann ControlNet mit kleinen Datensätzen („< 50k“) trainiert werden und fügt räumliche Bedingungen wie „Kanten, Tiefe, Segmentierung, menschliche Pose“ hinzu, ohne die Basisgewichte zu verändern.

LoRA: Günstiges Fine-Tuning durch Low-Rank-Updates

Das vollständige Fine-Tuning eines Diffusionsmodells ist kostspielig. LoRA (Low-Rank Adaptation) von Hu et al. (2021) umgeht dies, indem es die Basisgewichte einfriert und nur Low-Rank-Update-Matrizen lernt. Die Prämisse des Papers: „Mit dem Pretraining größerer Modelle wird das vollständige Fine-Tuning, bei dem alle Modellparameter neu trainiert werden, zunehmend unpraktikabel.“ LoRA beschränkt das Gewichtsupdate auf eine Low-Rank-Faktorisierung, sodass die Anzahl der trainierbaren Parameter nur einen Bruchteil des gesamten Modells ausmacht. Im Diffusions-Ökosystem ist LoRA der Standardweg, um einem Modell einen neuen Stil, eine neue Figur oder ein neues Konzept beizubringen — die Bibliothek diffusers von Hugging Face unterstützt explizit das „Laden und Verwenden von Adaptern wie LoRA.“

Der praktische Stack: Diffusionsmodelle und die Modellfamilie

Die de facto Open-Source-Toolchain ist Hugging Faces diffusers -Bibliothek, die „eine Bibliothek mit State-of-the-Art-vortrainierten Diffusionsmodellen zur Generierung von Videos, Bildern und Audio“ ist. Ihre zentrale Abstraktion ist die DiffusionPipeline, „eine API, die für einfache Inferenz mit nur wenigen Codezeilen konzipiert ist“ und „Flexibilität bietet, um Pipeline-Komponenten (Modelle, Scheduler) nach Belieben zu kombinieren“. Diese Modularität ist der praktische Ertrag der Theorie: Das Modell (U-Net oder DiT), der Scheduler (DDIM, DPM-Solver, EDM) und die Konditionierung (Text-Encoder, ControlNet, LoRA) sind alles austauschbare Komponenten. Die Stable-Diffusion-Familie umfasst SD 1.5, SDXL und SD3 (letzteres basiert auf der MMDiT/rectified-flow-Architektur), wobei FLUX die führende offene Alternative darstellt.

Das Fazit

Ein Diffusionsmodell ist ein Score-Schätzer mit der Maske eines Denoisers. Es lernt die Umkehrung eines Rauschadditionsprozesses, und die Generierung erfolgt durch numerisches Lösen der umgekehrten SDE/ODE aus reinem Rauschen. Die Ingenieursleistung, die dies praktisch umsetzbar machte, ist eine Kette klarer Ideen: die geschlossene Form der Vorwärtsmarginale (DDPM), die Äquivalenz des Score-Matchings, die Wahrscheinlichkeitsfluss-ODE, der Wechsel in den latenten Raum (LDM), das Transformer-Skalierungsgesetz (DiT), der geradlinige Fluss (rectified flow), die schnellen ODE-Löser (DDIM, DPM-Solver, EDM) und der Konditionierungsstack (Cross-Attention, CFG, ControlNet, LoRA). Jeder Beitrag ist klein und verifizierbar — und zusammen verwandelten sie eine 1000-stufige Markov-Kette in die Bildgeneratoren, die täglich genutzt werden.

Quellen

• DDPM — „Denoising Diffusion Probabilistic Models,“ Ho, Jain, Abbeel, 2020, arXiv:2006.11239 — https://arxiv.org/abs/2006.11239 (Gleichungen 1–4, 14; Algorithmus 1; CIFAR-10 IS 9,46 / FID 3,17)
• Score Matching — „Generative Modeling by Estimating Gradients of the Data Distribution,“ Song & Ermon, 2019, arXiv:1907.05600 — https://arxiv.org/abs/1907.05600 (NCSN, annealed Langevin, CIFAR-10 IS 8,87)
• SDE/ODE-Vereinheitlichung — „Score-Based Generative Modeling through Stochastic Differential Equations,“ Song, Sohl-Dickstein, Kingma, Kumar, Ermon, Poole, 2021, arXiv:2011.13456 — https://arxiv.org/abs/2011.13456 (reverse-time SDE, probability flow ODE, CIFAR-10 IS 9,89 / FID 2,20, 1024×1024)
• Improved DDPM — „Improved Denoising Diffusion Probabilistic Models,“ Nichol & Dhariwal, 2021, arXiv:2102.09672 — https://arxiv.org/abs/2102.09672 (cosine schedule, learned variance)
• Latent Diffusion / Stable Diffusion — „High-Resolution Image Synthesis with Latent Diffusion Models,“ Rombach, Blattmann, Lorenz, Esser, Ommer, 2022, arXiv:2112.10752 — https://arxiv.org/abs/2112.10752 (latent space, Downsampling f∈{1,2,4,8,16,32}, LDM-4/-8 best, Cross-Attention, 150–1000 V100 Tage)
• DiT — „Scalable Diffusion Models with Transformers,“ Peebles & Xie, 2023, arXiv:2212.09748 — https://arxiv.org/abs/2212.09748 (U-Net→Transformer, adaLN-Zero, Gflops-Skalierung, DiT-XL/2 FID 2,27, 118,6 Gflops)
• SD3 / MMDiT / rectified flow — „Scaling Rectified Flow Transformers for High-Resolution Image Synthesis,“ Esser et al., 2024, arXiv:2403.03206 — https://arxiv.org/abs/2403.03206 (rectified flow: geradlinige Pfade, separate Modality-Weights, bidirektionaler Text-Bild-Fluss)
• DDIM — „Denoising Diffusion Implicit Models,“ Song, Meng, Ermon, 2021, arXiv:2010.02502 — https://arxiv.org/abs/2010.02502 (non-Markovian, deterministisch, 10–50× schneller, Latent-Interpolation)
• Classifier-free guidance — „Classifier-Free Diffusion Guidance,“ Ho & Salimans, 2022, arXiv:2207.12598 — https://arxiv.org/abs/2207.12598 (joint conditional/unconditional Training, Quality-Diversity-Trade-off)
• DPM-Solver — „DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps,“ Lu, Zhou, Bao, Chen, Li, Zhu, 2022, arXiv:2206.00927 — https://arxiv.org/abs/2206.00927 (10–20 Function Evaluations, 4,70 FID@10 / 2,87 FID@20 auf CIFAR-10, 4–16× Speedup)
• EDM — „Elucidating the Design Space of Diffusion-Based Generative Models,“ Karras, Aittala, Aila, Laine, 2022, arXiv:2206.00364 — https://arxiv.org/abs/2206.00364 (Design Space, FID 1,79 class-cond / 1,97 uncond CIFAR-10, 35 Netzwerkevaluierungen)
• CLIP — „Learning Transferable Visual Models From Natural Language Supervision,“ Radford et al., 2021, arXiv:2103.00020 — https://arxiv.org/abs/2103.00020 (400M Bild-Text-Paare, Zero-Shot-Transfer)
• ControlNet — „Adding Conditional Control to Text-to-Image Diffusion Models,“ Zhang, Rao, Agrawala, 2023, arXiv:2302.05543 — https://arxiv.org/abs/2302.05543 (Zero Convolutions, frozen Backbone, Edges/Depth/Segmentation/Pose)
• LoRA — „LoRA: Low-Rank Adaptation of Large Language Models,“ Hu et al., 2021, arXiv:2106.09685 — https://arxiv.org/abs/2106.09685 (Low-Rank-Weight-Updates)
• diffusers — Hugging Face diffusers library — https://huggingface.co/docs/diffusers (DiffusionPipeline, Mix-and-Match-Modelle/Scheduler, LoRA-Adapter)