Gradient Descent Teil 2: Stochastic Gradient Descent und Mini-Batch GD

In der ersten Folge zu Gradient Descent haben wir mit den Schwächen dieses Verfahrens aufgehört. Heute schauen wir uns an, wie diese Schwächen angegangen werden.
Wir sprechen über lokale Minima, die richtige Lernrate und den hohen Rechenaufwand bei grossen Datensätzen.
Ihr braucht keine mathematischen Vorkenntnisse (wobei die Grundrechenarten sind nie verkehrt sind :D).
Aus den Herangehensweisen ergeben sich die drei wichtigen Ansätze aus der Praxis:
• Gradient Descent: Wie der gesamte Datensatz zur Berechnung eines Optimierungsschritts verwendet wird.
• Stochastic Gradient Descent (SGD): Warum einzelne Datenbeispiele den Rechenaufwand pro Schritt reduzieren und gleichzeitig für stärkere Schwankungen sorgen.
• Mini-Batch Gradient Descent: Wie eine kleine Gruppe von Datenbeispielen einen praktischen Kompromiss zwischen Rechenaufwand und Stabilität ermöglicht.

Wir nutzen wieder die Analogie der Bergwanderung.
🎧 Hört unbedingt in die erste Folge rein. Denn diese Folge baut darauf auf: Gradient Descent einfach erklärt (open.spotify.com/episode/6fevpUvZhD59pBlJTtebH…)

Schaut gerne auch auf der neuen Website zum Podcast vorbei:
⁠⁠⁠⁠⁠podcast.pyucation.de⁠⁠⁠⁠ (podcast.pyucation.de)
Dort findet ihr eine Übersicht über alle Folgen sowie die meist gestellten Fragen schnell beantwortet.

Diese Folge ist für dich, wenn du …
• verstehen möchtest, wie Machine Learning und KI-Training funktionieren,

• dich für künstliche Intelligenz interessierst, ohne selbst programmieren zu müssen,

• als Entscheiderin oder Entscheider in Wirtschaft oder Verwaltung fundierter über KI sprechen möchtest,

• wissen willst, warum moderne KI-Modelle spezielle Optimierungsverfahren benötigen.