IMB > Recherche > Séminaires
Le 14 décembre 2023
à 11:00
Séminaire Images Optimisation et Probabilités
Salle de conférénces
Camille Castera University of Tübingen
Second-order algorithms for large-scale optimization and deep learning
Non-convex non-smooth optimization has gained a lot of interest due to the efficiency of neural networks in many practical applications and the need to "train" them. Training amounts to solving very large-scale optimization problems. In this context, standard algorithms almost exclusively rely on inexact (sub-)gradients through automatic differentiation and mini-batch sub-sampling. As a result, first-order methods (SGD, ADAM, etc.) remain the most used ones to train neural networks.
Driven by a dynamical system approach, we build INNA, an inertial and Newtonian algorithm, exploiting second-order information on the function only by means of first-order automatic differentiation and mini-batch sub-sampling. By analyzing together the dynamical system and INNA, we prove the almost-sure convergence of the algorithm. We discuss practical considerations and empirical results on deep learning experiments.
We finally depart from non-smooth optimization and provide insights into recent results that pave the way for designing faster second-order methods.
Le 21 décembre 2023
à 11:00
Séminaire Images Optimisation et Probabilités
Salle de Conférences
Bastien Laville INRIA
À préciser
À préciser
Le 11 janvier 2024
à 11:00
Séminaire Images Optimisation et Probabilités
Salle de conférénces
Valentin Debarnot University of Basel
Algorithmes de deep-learning pour la reconstruction en microscopie électronique et à fluorescence.
Dans cette présentation, je présenterai différents aspects qui limitent la résolution en microscopie électronique et à fluorescence. Après avoir défini ces problèmes dans un formalisme de problème inverse, j'introduirai différents outils qui nous ont permis d'atténuer certaines limitations, et je discuterais différentes pistes de recherche possibles pour prendre en compte les limitations restantes. J'utiliserais des outils de machine learning (e.g. réseau de neurones implicites, deep image prior, dérivation automatique) pour résoudre des problèmes inverses en microscopie.
Le 18 janvier 2024
à 11:00
Séminaire Images Optimisation et Probabilités
Salle de conférénces
Radu-Alexandru Dragomir EPFL
À préciser
À préciser
Le 25 janvier 2024
à 11:00
Séminaire Images Optimisation et Probabilités
Salle de conférénces
Paul Catala University of Osnabrückv
À préciser
À préciser
Le 1er février 2024
à 11:00
Séminaire Images Optimisation et Probabilités
Salle de conférénces
Jamal Najim Université Gustave Eiffel
À préciser
À préciser.
Séminaire Images Optimisation et Probabilités
Responsable : Camille Male
Driven by a dynamical system approach, we build INNA, an inertial and Newtonian algorithm, exploiting second-order information on the function only by means of first-order automatic differentiation and mini-batch sub-sampling. By analyzing together the dynamical system and INNA, we prove the almost-sure convergence of the algorithm. We discuss practical considerations and empirical results on deep learning experiments.
We finally depart from non-smooth optimization and provide insights into recent results that pave the way for designing faster second-order methods.
Institut de Mathématiques de Bordeaux UMR 5251
Université de Bordeaux
351, cours de la Libération - F 33 405 TALENCE
Tél: +33 (0)5 40 00 60 70
institut
math.u-bordeaux.fr
