Beim Training von Stable Diffusion Modellen oder generell bei maschinellen Lernmodellen ist die Wahl der richtigen Lernrate (Learning Rate) und des dazugehörigen Schedulers entscheidend. Ein oft verwendeter Ansatz ist der Cosine Learning Rate Scheduler, der dabei hilft, das Modell stabil zu trainieren und eine gute Balance zwischen schneller Konvergenz und feiner Modellanpassung zu erreichen.

Beim Cosine Scheduler wird die Lernrate (die bestimmt, wie stark die Gewichte des Modells nach jeder Iteration angepasst werden) nach einem kosinusförmigen Verlauf angepasst. Das bedeutet, dass die Lernrate zu Beginn hoch ist und dann im Laufe des Trainings langsam abnimmt, wobei die Reduktion sanft und gleichmäßig erfolgt. Dies hilft, die Modellanpassungen in den späteren Trainingsphasen zu verfeinern.

Hier ist die Formel, nach der der Cosine Scheduler funktioniert:

Der Cosine Scheduler sorgt dafür, dass die Lernrate zu Beginn hoch ist und am Ende des Trainings nahezu 0 erreicht.

Der Hauptvorteil des Cosine Schedulers liegt in der sanften Reduzierung der Lernrate. Während einige Scheduler die Lernrate abrupt reduzieren (wie z.B. der Step Scheduler, der nach festen Epochen die Lernrate in großen Sprüngen senkt), sorgt der Cosine Scheduler für eine kontinuierliche und gleichmäßige Verringerung.

Beispiel:

In der ersten Hälfte des Trainings bleibt die Lernrate relativ hoch, sinkt aber allmählich ab. Ab der Mitte des Trainings wird die Lernrate signifikant gesenkt, was dem Modell erlaubt, langsamer zu lernen und sich feiner an die Daten anzupassen.

Hast du weitere Fragen oder möchtest du mehr über Stable-Diffusion-Training wissen? Hinterlasse gerne einen Kommentar oder schau dir die anderen Blog-Posts an!