Séquence animée par Nathan Cassereau (CNRS/IDRIS) et Bertrand Cabot (CNRS/IDRIS)

Les modèles les plus sophistiqués exigent de longs apprentissages pour trouver un ensemble de paramètres satisfaisants relativement à la tâche que l’on souhaite accomplir.

Alors que la session 16 explorait différentes méthodes pour accélérer l’apprentissage en explorant plus rapidement le paysage de la loss et donc en réduisant le nombre d’itérations nécessaires pour obtenir un modèle entraîné, cette session se concentre majoritairement sur une utilisation plus sophistiquée du matériel que l’on a potentiellement a disposition pour réaliser un même nombre d’itérations en un temps plus restreint.

On pourra également utiliser des optimisations liées à la mémoire pour exploiter plus favorablement notre accélérateur ou pour faire rentrer des modèles plus volumineux en mémoire RAM.

• 00:00 Introduction à la séquence
• 6:46 Accélération de l’entrainement d ‘un modèle d’IA
• 15:48 Introduction sur les supercalculateurs et Jean Zay Présentation
• 29:57 Pause questions ?
• 33:00 Mémoire consommée par un réseau de neurones profond
• 43:12 Pause questions ?
• 45:43 Chargement des données
• 1:01:43 Pause questions ?
• 1:06:00 Calcul accéléré par carte graphique & Précision Mixte
• 1:29:25 Pause questions ?
• 1:35:19 Calcul distribué en Deep Learning par duplication ou découpage du modèle
• 1:59:45 Pause questions
• 2:03:40 Conclusion

Durée : 2h