lesfurets
Publiée hier · Paris
AI Product Specialist
- Paris
Outils et compétences cités dans l'annonce
Description du poste
DESCRIPTION DE POSTE
En tant que AI Product Specialist, vous êtes
responsable de la qualité et de la performance de nos agents IA en production
. Votre mission : faire en sorte que ce que nos agents répondent à nos clients soit juste, utile et fiable, et étendre ces agents à de nouvelles lignes d’assurance, dans un contexte exigeant : données sensibles et marché réglementé.
Vous évoluez au sein de l’équipe Produit, en binôme étroit avec le senior software engineer de l’équipe IA, qui construit le socle technique et l’architecture de nos agents. Il construit et intègre, vous améliorez et garantissez la qualité de ce qui est livré.
Vous faites aussi de l’IA une compétence partagée dans l’équipe.
💻
Missions
Améliorer la qualité et la performance de nos agents IA
- Itération sur les prompts :
concevoir, tester et améliorer les prompts, le contexte fourni et les garde-fous de nos agents, avec une démarche d’expérimentation rigoureuse et mesurée.
- Optimisation du RAG :
analyser et améliorer la pertinence des informations récupérées et du contexte fourni aux agents, afin de garantir des réponses fiables, précises et fondées sur les bonnes sources.
- Analyse des conversations :
exploiter les traces de nos agents (via LangSmith) pour comprendre ce qui fonctionne, ce qui échoue et pourquoi, du point de vue du client.
- Jeux de tests et critères de qualité :
construire et faire évoluer les jeux de tests et les évaluateurs automatisés (notamment LLM-as-a-Judge) pour mesurer objectivement la qualité des réponses, identifier les axes d’amélioration et détecter les régressions.
- Suivi de la qualité :
définir et suivre les indicateurs de qualité de nos agents (exactitude, pertinence, satisfaction etc), et animer des revues régulières.
- Gestion de l’incertitude :
définir avec les équipes concernées les cas où l’agent doit s’abstenir ou passer la main à un humain, et les cas critiques à ne jamais manquer.
Étendre nos age
Annonce publiée sur LinkedIn et reprise par Intelligence Academy. Seule l'annonce d'origine fait foi ; nous ne sommes pas l'employeur.
Offres semblables
Data Scientist (H/F)
Isagri
- Beauvais
- CDI
- 40 k€ – 50 k€ / an
RESPONSABILITÉS : Le pôle Data & IA accompagne les équipes produit d'Isagri dans l'industrialisation de leurs usages de la donnée et de l'intelligence artificielle. Il porte notamment la structuration de la plateforme data (« raffinerie de données ») et la mise à disposition d'un cadre d'industrialisation (guidelines
Data scientist CDCR (H/F)
CHU Limoges
- Limoges
- CDD
RESPONSABILITÉS : Mettre en place un EdSh consiste à créer des flux sécurisés (ETL) entre les systèmes de soins informatisés et une nouvelle infrastructure dédiée, en s'assurant de la qualité, de l'intégrité et la cohérence des données récupérées avant de les réorganiser puis d'alimenter les études qui y seront menée
Senior AI engineer (LLMS) - (m/f)
Station F
- Paris
À propos 🌱 Revolt.eco, c’est quoi ? Chez Revolt.eco, notre mission est claire : accélérer la transition énergétique en aidant les entreprises des énergies renouvelables à mieux vendre, plus vite et à plus grande échelle. Nous avons développé une solution digitale tout-en-un qui centralise l’ensemble du
- Marseille
- Stage
Dirigé par Rodolphe Saadé, le Groupe CMA CGM, un leader mondial du transport maritime et de la logistique, dessert plus de 420 ports dans le monde sur 5 continents. Avec sa filiale CEVA Logistics, et sa division de fret aérien CMA CGM AIR CARGO, le Groupe CMA CGM innove constamment pour proposer à ses clients une offre