Créer un système RAG à partir des données de l’entreprise

La génération augmentée par récupération (RAG) apporte au modèle génératif le contexte pertinent des sources de l’entreprise avant qu’il produise une réponse.

Le RAG ne se limite pas à charger des documents dans une base vectorielle. Préparation des données, contrôle d’accès, qualité de récupération, citations des sources et évaluation doivent être conçus ensemble.

Inventaire des sources

Inventoriez d’abord les politiques internes, procédures, documents techniques, informations produit, contenus de support et contrats.

Les documents non courants ou conflictuels affectent directement la qualité de la recherche.

Analyse structurelle des documents

Lors de l’extraction de texte depuis des PDF, Word, HTML ou autres formats, préservez autant que possible les titres, tableaux, listes et sections.

Découpage en fragments (chunking)

Des fragments trop petits peuvent perdre le contexte ; trop grands, ils peuvent réduire la précision de récupération. Tenez compte des sections, titres et structures sémantiques.

Embeddings et indexation

Les fragments peuvent être convertis en vecteurs d’embedding et ajoutés à un index. Les métadonnées peuvent conserver la source, la section, la date, le service et le niveau d’accès.

Récupération hybride

Combinez la recherche sémantique avec une recherche lexicale par mots-clés ou BM25, plutôt que de vous limiter à la recherche vectorielle sémantique.

Reclassement (reranking)

Les candidats dans le premier résultat de récupération peuvent être réordonnés avec un second calque de classement et seul le contexte le plus pertinent peut être envoyé au modèle.

Citation et provenance

L'utilisateur devrait être en mesure de voir sur quel document la réponse est basée. Le nom de la source, la section et, si nécessaire, le lien direct avec le document peuvent être affichés.

Évaluation des RAG

Rappel de récupération
Précision du contexte
Exactitude de la réponse
Ancrage dans les sources
Affirmation non étayée
Précision de la citation
Latence

Évaluer un système IA pour la production

Avant la production, préparez des jeux d’évaluation distincts pour l’inventaire des sources, l’analyse des documents et le découpage en fragments. Ne décidez pas sur quelques démonstrations réussies : construisez des cas réussis, des échecs et des cas limites à partir de tâches réelles. Définissez le comportement attendu, les marges d’erreur acceptables et le besoin d’intervention humaine pour chaque exemple, afin de comparer les changements de modèle, de récupération et de processus sur le même jeu de tests.

La surveillance doit combiner indicateurs applicatifs et qualité IA. Suivez latence, coût des tokens ou du modèle, erreurs d’outils et expirations API côté technique ; mauvaises sources, affirmations non étayées, corrections utilisateur, reprises humaines et réussite des tâches côté qualité. Une évaluation de régression doit vérifier le maintien du niveau antérieur après changement de modèle ou de prompt.

Sécurité des données et gouvernance

Traitez les données envoyées au modèle, sources récupérées, conversations et résultats des outils comme des flux séparés. Évitez les données personnelles ou commercialement sensibles inutiles dans les prompts ; limitez les accès par rôle. Évaluez le modèle, le prestataire, les lieux de traitement et la conservation des journaux avec les processus de protection et de sécurité. La couche IA ne doit pas créer un accès parallèle contournant les autorisations existantes.

Liste de contrôle IA en production

Le cas d’usage et la métrique de réussite sont-ils définis ?
Un jeu de données d’évaluation est-il disponible ?
Les versions de prompt, modèle et récupération sont-elles suivies ?
Les droits des utilisateurs sont-ils appliqués dans la couche IA ?
Les appels d’outils utilisent-ils la validation de schéma ?
Les actions risquées requièrent-elles une approbation humaine ?
La latence et les coûts du modèle sont-ils mesurés ?
Les réponses erronées et les corrections des utilisateurs sont-elles classées ?

Taxonomie des échecs et déploiement contrôlé

Regrouper tous les échecs sous « l’IA a mal répondu » complique l’analyse des causes. Distinguez les problèmes de récupération, le contexte manquant, le mauvais outil, les blocages d’autorisation, les hallucinations, les délais dépassés, les schémas invalides et les demandes ambiguës. Identifier le domaine responsable — l’inventaire des sources, l’analyse des documents et le découpage en fragments — permet d’améliorer le bon composant plutôt que de simplement remplacer le modèle. Les échecs réels enrichissent progressivement le jeu d’évaluation.

Un modèle, un prompt, un réglage de récupération ou un processus d’agent peut être déployé progressivement. Commencez par un groupe limité ou des tâches peu risquées et comparez qualité, latence, coûts et transferts humains avec la version précédente. Arrêtez le déploiement si les indicateurs critiques se dégradent et permettez un retour arrière. Les modifications de prompts deviennent ainsi un processus de publication versionné et mesurable.

Garde-fous de coût et d’utilisation

La production exige une gestion des ressources autant que de la qualité. Suivez tokens, appels au modèle, outils, volume récupéré et durée par utilisateur ou tâche. Boucles inattendues, contexte trop long et appels répétitifs augmentent coût et latence. Limites d’étapes, expirations, taille du contexte, politique de modèle de secours et quotas individuels assurent un contrôle opérationnel. Comparez les coûts à la réussite et optimisez les parcours bon marché mais inefficaces ou coûteux et inutilement complexes.

Journaliser séparément les types d’échec
Enregistrer les versions des prompts, modèles et processus
Tester les versions sur un groupe contrôlé
Définir à l’avance les critères de retour arrière
Limitez les étapes des outils et la durée de traitement
Mesurez les coûts de tokens et du modèle par tâche
Réintégrer les échecs de production dans les évaluations

L’approche IA et automatisation B10 Digital Agency

B10 Digital Agency considère l’IA d’entreprise non comme une simple intégration, mais comme un système de production associant accès aux données, RAG, outils, processus d’agents, sécurité, contrôle humain et évaluation mesurable.

Questions fréquentes

Le RAG est-il identique au fine-tuning ?

Non. Le RAG récupère des informations externes au moment de répondre ; le fine-tuning modifie le comportement ou les connaissances du modèle par entraînement.

Chaque document devrait-il être ajouté à la base de données vectorielle?

Non. Sélectionnez les documents selon leur actualité, leurs droits d’accès et leur utilité.

Est-ce que RAG résout entièrement le problème des hallucinations?

Non. Il peut réduire le risque, mais l’évaluation et les limites de réponse restent nécessaires.

Pourquoi le filtre de métadonnées est-il important?

Il filtre les sources adaptées lors de la récupération selon la date, le service ou les droits de l’utilisateur.

Rendre l’IA d’entreprise mesurable

Découvrez l’approche de B10 Digital Agency pour intégrer assistants, RAG, agents et processus automatisés aux systèmes existants de manière sûre et mesurable.

Découvrir les solutions d’IA et d’automatisation →