Momentum

Für eine bessere Konvergenz der Fehlerminimierung wird ein Momentumfaktor eingefügt. Er bewirkt eine schnellere Konvergenz, aber vermeidet gleichzeitig das Oszilieren bei zu großen Lernraten. Er wird idealerweise zwischen 0 und 0.1 verwendet. Bei einem Momentumfaktor von 0 wird die normale verallgemeinerte Delta-Regel angewendet.