Nathan était un doctorant PRAIRIE, encadré par Benoît Sagot et Eric de la Clergerie et membre de l’équipe Almanach du centre Inria de Paris, un grand bravo à lui pour ses travaux !
La thèse de Nathan Godey s’attache à dépasser les limitations structurelles de l’apprentissage de représentations dans les architectures neuronales. À partir d’une analyse fine, mobilisant des méthodes d’interprétabilité, il propose une contribution conceptuelle forte : une méthode d’entraînement de modèles de langue qui s’affranchit du calcul de la distribution des symboles de sortie, en mobilisant des techniques d’apprentissage contrastif. Cette approche originale, dite headless, vise à reconstruire des séquences de plongements lexicaux en entrée, sans recourir à une tête de décodage pendant l’apprentissage. Un travail expérimental exigeant, systématique et d’un haut niveau de compétence technique a permis de démontrer l’efficacité de ce nouveau paradigme, tant en termes d’usage mémoire que de vitesse de convergence. La diversité des thématiques abordées (segmentation en unités sous-lexicales, analyse des représentations, lois d’échelle, optimisation de l’apprentissage), ainsi qu’une aptitude bienvenue à la formalisation, se sont concrétisées à chaque fois par des publications originales dans des supports de très grande qualité.
