„Cosine“ Learning Rate Scheduler beim Stable-Diffusion-Training in OneTrainer

Published 2 Monaten ago - C. v. T.

Beim Cosine Scheduler wird die Lernrate (die bestimmt, wie stark die Gewichte des Modells nach jeder Iteration angepasst werden) nach einem kosinusförmigen Verlauf angepasst. Das bedeutet, dass die Lernrate zu Beginn hoch ist und dann im Laufe des Trainings la... More »