Data attribution for diffusion models

Abstract

Diffusion models have demonstrated a remarkable ability to generate photorealistic images. However, it is difficult to explain what causes the generated image. Tracing the output back to the training data and identifying the most influential samples is necessary to debug the model, find biases, or provide fair compensation to creators. While data attribution methods have been extensively studied in the supervised setting, data attribution for generative models such as diffusion models remains a challenge. The aim of this thesis is to provide an overview of existing methods for data attribution and evaluation methods. In the absence of a commonly used benchmark, a framework for evaluating data attribution methods was implemented as part of this thesis. Various experiments and evaluation methods allow a comparison between the different methods to better understand their use cases and limitations. Furthermore they lead to the proposal of new normalization method, called loss-normalization. Diffusionsmodelle haben eine bemerkenswerte Leistung bei der Erzeugung fotorealistischer Bilder gezeigt. Es ist jedoch schwierig zu erklären, was das erzeugte Bild verursacht hat. Die Rückverfol-gung der Ausgabe zu den Trainingsdaten und die Identifizierung der beeinflussendsten Datenpunkte ist notwendig, um das Modell zu debuggen, Vorurteile zu finden oder den Urhebern eine faire Vergütung zu bieten. Während Methoden zur Datenattribution im überwachten Umfeld ausgiebig untersucht wurden, bleibt die Datenattribution für generative Modelle wie Diffusionsmodelle eine Herausforderung. Das Ziel dieser Arbeit ist es, einen Überblick über bestehende Methoden zur Daten-zuordnung und Evaluierungsmethoden zu geben. In Ermangelung eines allgemein verwendeten Benchmarks wurde im Rahmen dieser Arbeit ein Framework zur Evaluierung von Datenattribution-smethoden implementiert. Verschiedene Experimente und Bewertungsmethoden ermöglichen einen Vergleich zwischen den verschiedenen Methoden, um ihre Anwendungsfälle und Grenzen besser zu verstehen. Darüber hinaus führen sie zum Vorschlag einer neuen Normalisierungsmethode, der sogenannten Verlustnormalisierung.