“Attention Is All You Need”, quand les Transformers changent la donne !

Séquence présentée par Hatim Bourfoune et Nathan Cassereau de l’IDRIS.

• 00:00 Introduction de la séquence
• 06:18 Sommaire de la séquence
• 07:36 Rappel et précision sur l’Embedding
• 13:58 Historique sur le traitement des séquences
• 23:25 Architecture du Transformer (type BERT)
• 35:14 Première pause questions
• 41:50 Algorithme de l’Attention (Self-Attention)
• 51:56 Deuxième pause questions
• 1:01:16 Multi-Head Attention
• 1:03:36 Troisième pause questions
• 1:03:54 Les différentes architectures de Transformers
• 1:10:13 Quatrième pause questions
• 1:17:59 Le Pré-entraînement
• 1:24:42 Cinquième pause questions
• 1:28:03 Fine-Tuning
• 1:35:35 Vision Transformer
• 1:40:20 Bibliographie
• 1:42:14 TPs
• 2:06:04 Fin et annonce de la prochaine séquence

Dans cette séquence :

• Proposé par Google et publié en 2017, sous le titre Attention Is All You Need, les Transformers sont des réseaux de type séquence to séquence.
• La force des Transformers réside dans leur capacité à pondérer l’importance de chaque terme de la séquence et à être fortement parallélisables.
• Les Transformers ont révolutionnés de nombreux domaines, allant de la traduction automatique à AlphaFold.

Illustrations : classification de critiques de films (IMDB) sous PyTorch

Durée : 2h00