Ingénieur IA - Agents de test & Qualité - Freelance (H/F)

Taux journalier (TJM): 450

Le contexte Notre client, un grand cabinet d'audit et de conseil, développe et opère en interne une quinzaine de produits applicatifs (C# .NET / Vue.js) sur Microsoft Azure, au service de ses métiers Audit, Advisory et de ses fonctions support.

Il construit aujourd'hui rapidement des POC/POV avec l'IA générative (« vibe coding »), qui s'appuient sur des services d'IA cloud (LLM, RAG, agents). Pour que ces prototypes deviennent des produits fiables, sécurisés et exploitables en production, le client a une ambition forte : confier l'ensemble du contrôle qualité à des agents IA, sur tous les domaines (applications, data, data science).

Vous serez la personne qui conçoit et construit ces agents, et qui définit la stratégie de test qu'ils mettront en œuvre.

Vos missions

Définir la stratégie de test globale : identifier les types de tests pertinents selon le domaine (applicatif, data, data science, IA générative) et le niveau de risque, avant toute mise en production

Concevoir, développer et faire évoluer des agents IA capables de prendre en charge le cycle QA de bout en bout :

 analyse des besoins et génération des cas de test et scénarios

 écriture et maintenance des scripts de tests automatisés

 exécution, analyse des résultats et remontée des anomalies

Couvrir l'ensemble des domaines :

 Applications : tests fonctionnels, end-to-end, API, non-régression, performance, sécurité

 Data : qualité et cohérence des données, contrôle des pipelines, réconciliation

 Data science / IA : validation des modèles, évaluation des LLM, RAG et agents (pertinence, fidélité, hallucinations), non-régression des prompts et des modèles

Sécuriser le passage du POC au produit : critères d'acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts

Intégrer les agents et les tests dans les chaînes CI/CD (Azure DevOps / GitHub)

Accompagner les équipes produit dans l'adoption de ces agents et des bonnes pratiques qualité

Profil ingénieur IA / développeur IA, au moins 2 ans d'expérience concrète en IA générative (profils juniors à confirmés bienvenus)

Indispensable : expérience démontrable de conception d'agents IA et d'applications à base de LLM (Azure OpenAI / AI Foundry ou équivalent)

Indispensable : pratique des briques IA générative : prompt engineering, RAG, frameworks d'agents (Semantic Kernel, LangChain, AutoGen, CrewAI ou équivalent)

Indispensable : maîtrise d'au moins un langage (Python, C# ou TypeScript), avec du code écrit au quotidien

Indispensable : une vraie culture qualité : compréhension des différents types de tests et de leur utilité, capacité à juger si une application est prête pour la production

Indispensable : une réalisation IA à présenter en entretien (agent, application LLM, dépôt de code ou démonstration)

Seraient un plus :

 expérience en automatisation des tests (Playwright, Selenium, Cypress, SpecFlow, pytest.)

 connaissance des outils d'évaluation LLM (Azure AI Foundry evaluation, Promptfoo, DeepEval, Ragas.)

 notions de tests de données (Great Expectations, dbt tests.)

 environnement Azure : Azure OpenAI, AI Search, Azure DevOps

Qualités attendues : curiosité, autonomie, esprit d'analyse, rigueur et goût pour l'automatisation intelligente.