Séminaire de Mathématiques Appliquées du Collège de France - Pierre-Louis Lions

Abstract

Nous étudions les algorithmes adaptatifs de descente de gradient par dynamique de Langevin (SGLD) pour résoudre des problèmes d’optimisation et d’inférence. Ces algorithmes, inspirés de l’analyse stochastique, consistent en une descente de gradient avec ajout de bruit Gaussien exogène dans le but d’échapper aux minima locaux et points selle, en lien avec l’algorithme de recuit simulé. Contrairement à l’équation différentielle stochastique de Langevin classique, nous nous concentrons sur le cas où le bruit exogène est adaptatif i.e. non constant et dépend de la position de la procédure. Dans une première partie nous donnerons des éléments de preuve de convergence de ces algorithmes, puis dans une seconde partie nous présenterons des exemples d’application à des problèmes d’optimisation apparaissant en apprentissage machine et en probabilités numériques.

Pierre Bras

PhD Student in Applied Mathematics

I am a PhD student under the direction of Gilles Pagès, interested in Machine Learning, Stochastic Optimization and Numerical Probability.