Évaluer un système RAG

Mesurer la pertinence, la fidélité et la fraîcheur des réponses avant de déployer.

Niveau 3 — Assistants & connaissances Assistants & connaissances 14h (2 jours) Distanciel ou présentiel

Objectifs pédagogiques

À l'issue de la formation, l'apprenant sera capable de :

  • Définir des critères d'évaluation
  • Construire un jeu d'évaluation
  • Interpréter les résultats et corriger

Compétences visées

  • Critères d'évaluation
  • Jeux de tests
  • Amélioration continue

Programme détaillé — 14h (2 jours)

  1. J1 S1 09:00-10:30 Socle : Critères : pertinence, fidélité, couverture, fraîcheur — démonstration
  2. J1 S2 10:45-12:15 Méthode : Constitution d'un jeu de questions-références — exercice guidé
  3. J1 S3 13:15-14:45 Pratique : Métriques et lecture des résultats — atelier
  4. J1 S4 15:00-17:00 Production 1 : Boucle d'amélioration — livrable intermédiaire
  5. J2 S5 09:00-10:30 Approfondissement : Atelier : plan d'évaluation — cas réels
  6. J2 S6 13:15-16:30 Production 2 : atelier métier + capitalisation — peer review
  7. J2 S7 16:30-17:00 Évaluation : grille + soutenance 10' + transfert

Déroulé verrouillé : 1j = 7h00 (09:00-17:00, pauses hors temps) — 2j = 2×7h.

Cas pratiques

  • Évaluer un mini-RAG et proposer 3 corrections

Modalités pédagogiques

Apports techniques et ateliers de construction, analyse d'erreurs, production, transfert

Exercices

Construction progressive d'un mini-système documentaire.

Outils utilisés

Scripts d'évaluation fournis

Évaluation

Démonstration du système construit + grille.

Supports

Supports de cours et ressources distribués aux participants.

Informations pratiques

Public viséProfils techniques, référents documentaires, métiers à fort volume documentaire
PrérequisNiveau 1 recommandé.
Durée indicative14h (2 jours) soit 14h — 1j = 7h
FormatDistanciel ou présentiel
Effectif6 à 10
SpécialitéAssistants & connaissances
NiveauAssistants & connaissances
Délai d'accès14 jours (intra 21 jours)
AccessibilitéFOP Academy et Esprit Artificiel s'engagent à rendre leurs formations accessibles aux personnes en situation de handicap. Contactez notre référent handicap (https://fopacademy.com/ressources-prevention) avant l'inscription pour étudier les adaptations possibles.

Livrable

Mini-système RAG ou base de connaissances opérationnelle.

Modalités d'évaluation

Démonstration du système construit + grille.

Sanction

Attestation de fin de formation

Tarif & financement

Sur devis (OPCO possible) — OPCO possible via Fopacademy (Qualiopi)

Adaptation possible

Adaptation aux documents et domaines de l'organisation.

Indicateurs

Taux de satisfaction / réussite publiés annuellement

Formation suivante recommandée

Concevoir un workflow IA fiable

Articulation avec Fopacademy

Formation animée par Franck Martin – Esprit Artificiel, formation portée par Fopacademy (organisme certifié Qualiopi)

Les actions de formation peuvent être opérées avec Fopacademy, organisme de formation certifié Qualiopi, tandis qu'Esprit Artificiel apporte l'expertise spécialisée en intelligence artificielle.

Voir une réalisation associée

Oracle — Engineering Memory Fabric