Snabbfakta
-
- Saint-Martin-d'Hères
Ansök senast: 2024-12-01
PhD Thesis: Interpretability and Evaluation of LLMs and Agentic Workflows (M/ F)
Informations générales
Intitulé de l'offre : Thèse de doctorat: Interprétabilité et Évaluation des LLMs et des Agentic Workflows (H/F)
Référence : UMR5217-MAXPEY-002
Nombre de Postes : 1
Lieu de travail : ST MARTIN D HERES
Date de publication : mercredi 18 septembre 2024
Type de contrat : CDD Doctorant/Contrat doctoral
Durée du contrat : 36 mois
Date de début de la thèse : 1 janvier 2025
Quotité de travail : Temps complet
Rémunération : La rémunération est d'un minimum de 2135,00 € mensuel
Section(s) CN : Sciences de l'information : fondements de l'informatique, calculs, algorithmes, représentations, exploitations
Description du sujet de thèse
Le traitement automatique du langage naturel (TAL) a connu un changement de paradigme ces dernières années, grâce aux percées remarquables réalisées par les grands modèles de langage (LLMs). Ces modèles ont complètement transformé le paysage du TAL en démontrant des résultats impressionnants en modélisation du langage, en traduction et en résumé. Néanmoins, l'utilisation des LLMs a également soulevé des questions cruciales concernant leur fiabilité et leur transparence. En conséquence, il est urgent de comprendre plus profondément les mécanismes régissant le comportement des LLMs, d'interpréter leurs décisions et résultats de manière scientifiquement fondée, et d'évaluer précisément leurs capacités et leurs limites. Ajoutant à la complexité, les LLMs sont souvent impliqués comme un simple composant de certains "agentic workflows" plus larges. Dans un agentic workflow, les LLMs collaborent avec d'autres LLMs, des humains et des outils en échangeant des messages en langage naturel pour résoudre des problèmes complexes au-delà des capacités d'un LLM seul.
L'évaluation des LLMs est devenue particulièrement difficile car ils consomment la plupart d'Internet pendant leur pré-training, y compris la plupart des données test des benchmarks d'évaluation. De plus, le paysage des LLMs disponibles change rapidement et ils ont accès au web via des outils dans le cadre des agentic workflows. Par conséquent, de nouvelles méthodologies d'évaluation dépassant l'évaluation des compétences des modèles sur un ensemble de tests fixe sont nécessaires pour tenir compte de ces nouvelles évolutions.
Une direction prometteuse pour mener des analyses d'évaluation et d'interprétabilité est de s'inspirer du domaine des neurosciences qui, au fil des ans, a conçu des configurations expérimentales pour découvrir comment le cerveau humain traite et représente des informations utiles pour les tâches d'intérêt. De plus, nous pouvons obtenir de l'aide des outils d'analyse causale et d'inférence causale. Examiner les relations causales entre les entrées, les sorties et les états cachés des LLMs peut aider à construire des théories scientifiques sur le comportement de ces systèmes complexes. En outre, les méthodes d'inférence causale peuvent aider à découvrir les mécanismes causaux sous-jacents aux calculs complexes des LLMs, donnant l'espoir de mieux interpréter leurs décisions et comprendre leurs limites.
En travaillant sur un tel projet, vous devrez développer une compréhension solide de l'évaluation des systèmes complexes, des principes de l'inférence causale et de leur application à l'apprentissage automatique. Vous aurez l'opportunité de travailler sur des projets de recherche de pointe en TAL, contribuant au développement de LLMs plus fiables et interprétables. Il est important de noter que le projet de recherche doctorale doit être aligné avec vos intérêts et votre expertise. Par conséquent, la direction précise de la recherche peut et sera influencée par les goûts personnels et les objectifs de recherche de l'étudiant. Il est encouragé d'apporter votre perspective unique et vos idées à la table.
Contexte de travail
La thèse sera réalisée au sein de l'équipe Getalp du laboratoire LIG (https:///). Le LIG est unité mixte de recherche (Université Grenoble Alpes, CNRS, and INP). L'équipe GETALP a une forte expertise et un solide bilan en traitement automatique du langage naturel. La personne recrutée sera accueillie au sein de l'équipe qui offre un environnement de travail stimulant, multinational et agréable.
Les moyens pour mener à bien le doctorat seront fournis tant en termes de missions en France et à l'étranger qu'en termes d'équipement. Le candidat aura accès au cluster de GPU du LIG. De plus, l'accès au supercalculateur national Jean-Zay pourra être demander pour réaliser des expériences à grande échelle. Le poste de doctorant sera co-encadré par Maxime Peyrard et François Portet. De plus, le doctorant travaillera également avec des collaborateurs académiques externes à l'EPFL et à l'Idiap (par exemple, Robert West et Damien Teney) et des partenaires industriels externes (Microsoft Research).
Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.
Fler jobb från Talent
 NHS Foundation Trust&v=024){kind=logo}
