Analyste Benchmarking et Red Teaming des systèmes d'IA générative - Risques - La Defense, Ile de France, France

Description du poste

Vos missions au quotidien

Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu'au suivi du risque de modèle de la banque. L'équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées.

Le stage s'articule autour de deux volets complémentaires

• Étude méthodologique : analyser les méthodes de benchmarking et de Red Teaming appliquées aux modèles d'IA générative, avec une attention particulière portée aux nouveaux benchmarks dédiés à l'évaluation des systèmes agentiques
• Mise en œuvre : déployer les méthodes retenues dans les outils utilisés par le département pour la validation des modèles

Dans ce cadre, les principales missions confiées seront les suivantes :

• Analyse de l'état de l'art et prise en main des outils : réaliser une revue de la littérature consacrée aux méthodes d'évaluation et de benchmarking des LLM, avec un focus sur les systèmes agentiques et les LLM utilisés comme juges, et se familiariser avec les principales bibliothèques associées
• Appropriation de l'environnement interne : prendre en main les outils du département, notamment l'application utilisée pour l'évaluation des risques associés aux LLM susceptibles d'être déployés au sein du Groupe
• Développement de l'application : contribuer à l'évolution de l'outil de Red Teaming en intégrant des tests pertinents et les nouvelles approches identifiées dans la littérature
• Campagnes de Red Teaming: concevoir et exécuter des scénarios de test afin d'identifier les vulnérabilités, les comportements inattendus, les erreurs de raisonnement et les principaux scénarios d'échec
• Analyse comparative : comparer différentes stratégies de tests adversariaux afin d'identifier les pratiques les plus adaptées à l'évaluation des systèmes agentiques.
• Documentation et restitution : formaliser les travaux réalisés et animer des ateliers interactifs afin de prés

Annonce publiée sur Indeed et reprise par Intelligence Academy. Seule l'annonce d'origine fait foi ; nous ne sommes pas l'employeur.