Un système RAG combine une recherche documentaire et un modèle génératif afin de répondre à partir d’un corpus maîtrisé. Sa qualité ne dépend pas seulement du modèle : les documents disponibles, leur découpage, la recherche et la manière dont la réponse utilise les passages retrouvés jouent un rôle décisif. Une faiblesse à une seule étape peut produire un texte convaincant, mais incomplet, obsolète ou impossible à vérifier.
Construire un RAG fiable exige donc de traiter la chaîne comme un produit de recherche d’information. Il faut définir ce qu’est une bonne réponse dans le contexte métier, mesurer séparément la récupération et la génération, puis observer les usages réels. Cette discipline évite de modifier au hasard le prompt ou le modèle lorsqu’un défaut vient en réalité du corpus, des droits ou de l’indexation.
Définir les questions et les limites du service
Avant de choisir une base vectorielle, l’équipe précise les utilisateurs, leurs décisions et les familles de questions attendues. Expliquer une procédure interne, comparer des clauses et retrouver une référence produit nécessitent des sources, des formats et des niveaux de preuve différents. Les critères de réussite deviennent observables : présence du bon document, fidélité aux passages, complétude, citation exploitable et reconnaissance de l’absence d’information. Une réponse concise peut convenir au support et rester insuffisante pour un juriste. Le référentiel doit refléter ce contexte et désigner les demandes auxquelles le système refuse de répondre ou exige une validation humaine.
- Lister les intentions de recherche et leurs variantes.
- Définir les sources autorisées pour chaque population.
- Formaliser les citations, les refus et les escalades.
Construire un corpus propre et gouverné
Le corpus contient des documents fiables, à jour et attribuables. Doublons, versions obsolètes et brouillons non identifiés perturbent la recherche et créent des contradictions. Chaque document porte des métadonnées utiles : propriétaire, date de validité, langue, type, version et périmètre d’accès. L’ingestion prévoit la mise à jour, la suppression, la détection des échecs d’extraction et le suivi des contenus sans propriétaire. Les droits de la source sont conservés dans l’index afin qu’un utilisateur ne reçoive jamais un extrait qu’il ne pourrait pas consulter dans l’outil d’origine. Cette gouvernance doit fonctionner dans le temps, pas uniquement lors du chargement initial.
Découper selon la structure et enrichir la recherche
Un découpage uniforme par nombre de caractères ignore la logique des documents. Les segments doivent conserver assez de contexte pour être compris seuls tout en restant précis. Titres, numéros d’article, questions-réponses et relations entre tableaux et légendes sont des repères importants. Le chevauchement peut préserver une transition, mais augmente les doublons ; il s’ajuste sur des exemples réels. La recherche sémantique est ensuite associée à une recherche lexicale, utile pour les codes et références exactes. Les filtres de métadonnées appliquent langue, produit, date et permissions, tandis qu’un reclassement place les passages les plus utiles en tête sans multiplier les extraits presque identiques.
- Conserver le chemin des titres avec chaque segment.
- Éviter de séparer une règle de son exception.
- Combiner similarité, termes exacts et filtres métier.
- Dédupliquer les résultats avant de construire le prompt.
Contraindre la réponse à partir des preuves
Le prompt précise que les passages fournis constituent la base factuelle et qu’une information absente ne doit pas être complétée par intuition. Les citations sont liées aux affirmations importantes et pointent vers le document ainsi que l’emplacement utile, plutôt que vers une liste générique en fin de réponse. Une règle d’abstention s’applique lorsque les résultats sont trop faibles ou contradictoires. Le refus doit rester utile : il peut indiquer ce qui manque, proposer une reformulation ou orienter vers un interlocuteur. Enfin, les documents récupérés sont traités comme des données non fiables et ne peuvent pas redéfinir les règles du système ni les outils disponibles.
- Exiger une preuve pour chaque affirmation importante.
- Signaler les désaccords entre documents.
- Prévoir une réponse utile lorsque la preuve manque.
Évaluer séparément récupération et génération
Un jeu de tests représentatif rassemble des questions simples, ambiguës, multi-documents, sans réponse et sensibles aux droits. Des spécialistes métier identifient pour chacune les passages attendus et les éléments indispensables. La recherche est mesurée seule : le bon contenu apparaît-il et à une position exploitable ? La génération est ensuite évaluée sur sa fidélité, sa complétude et ses citations. Les contrôles automatiques facilitent les régressions, mais sont calibrés sur des exemples annotés et complétés par une revue humaine. En production, reformulations, abandons et transferts vers un expert enrichissent le référentiel afin que chaque modification soit comparée sur les mêmes cas.
- Versionner corpus, paramètres et jeu d’évaluation.
- Classer les erreurs par ingestion, recherche, réponse ou droits.
- Ajouter les incidents réels aux tests de non-régression.
En conclusion
La fiabilité d’un RAG résulte moins d’un composant spectaculaire que d’une chaîne cohérente et observable. Un corpus gouverné, un découpage adapté, une recherche hybride et une génération fondée sur des preuves rendent les réponses plus utiles, vérifiables et faciles à diagnostiquer.
Le bon rythme est itératif : partir d’un périmètre métier précis, constituer un jeu de questions exigeant, mesurer chaque étape et corriger la cause réelle des erreurs. Le système progresse ainsi avec les usages sans perdre sa traçabilité ni dépendre d’impressions subjectives.
