Ausgehend von der Frage, warum wir überhaupt Deep Learning brauchen und welche besonderen Schwierigkeiten beim Training von Deep Neural Nets auftreten, werden wir einige der modernen Verfahren mit ihren Vor- und Nachteilen kennenlernen.
Anhand von Beispielen aus der Praxis – Recurrent Neural Networks (RNNs) und Autoencoder – wollen wir untersuchen, welche Unterschiede es eigentlich zwischen Optimization und Learning gibt, wie wir die Vorteile der verschiedenen, teils komplexeren Methoden nutzen können und welche Trade-offs es zu berücksichtigen gilt.
Konkret werden wir auf Stochastic Gradient Descent, Momentum, Adam, LBFGS, Nonlinear CG und Hessian-Free Optimization eingehen.
Vorkenntnisse
* Grundlegende Kenntnisse der Funktionsweise von Machine-Learning-Verfahren,
* Wünschenswert sind erste Erfahrungen mit Deep Learning.
Lernziele
* Kennenlernen verschiedener Optimierungsverfahren aus dem Deep-Learning-Umfeld
* Qalitativer und quantitativer Vergleich einiger Methoden anhand von ausgewählten Praxisbeispielen, u.a. anhand von Recurrent Neural Networks (RNNs)
//
Stefan Kühn
beschäftigt sich seit vielen Jahren mit Optimierungsmethoden, Machine Learning, Deep Learning, Data Science und mathematischer Grundlagenforschung. Heute arbeitet er als Senior Data Scientist bei XING, analysiert dort große Datenmengen und entwickelt und implementiert moderne Algorithmen.