Questo sito utilizza solo cookie tecnici per il corretto funzionamento delle pagine web e per il miglioramento dei servizi.
Se vuoi saperne di più o negare il consenso consulta l'informativa sulla privacy.
Proseguendo la navigazione del sito acconsenti all'uso dei cookie.
Se vuoi saperne di più o negare il consenso consulta l'informativa sulla privacy.
Proseguendo la navigazione del sito acconsenti all'uso dei cookie.
Seminario del 2020
2020
11 febbraio
We start with a review of the main steps of the Deep Learning algorithm, together with some historical remarks. We then concentrate on the key ingredient, stochastic gradient descent (SGD), whose geometric significance appears elusive and was modelled using the SDE Fokker Planck by Chaudhari and Soatto. We then study a deterministic model in which the trajectories of our dynamical systems are described via geodesics of a family of metrics arising from the diffusion matrix
(natural gradient method). These metrics encode information about the highly non-isotropic gradient noise in SGD.
This is a joint work with S. Soatto (UCLA, Amazon) and P. Chaudhari (U. Penn.)