Vérifier l'ancrage de la réponse dans ses sources
Asai et al., « Self-RAG: Learning to Retrieve, Generate and Critique through Self-Reflection », ICLR 2024 · arXiv:2310.11511
Conditionner la génération sur des passages récupérés réduit le taux d'hallucination sans l'annuler : rien dans l'objectif de génération n'impose que chaque assertion produite soit entailée par le contexte. Le modèle peut extrapoler au-delà de ce que le passage établit, ou ignorer un passage pertinent. Ces deux défaillances sont distinctes de celles de la récupération, et invisibles à l'utilisateur, puisque la réponse reste bien formée et accompagnée de citations plausibles.
Asai et ses coauteurs proposent à ICLR 2024 d'entraîner le modèle à émettre, en plus du texte, des jetons de réflexion qui explicitent son propre jugement : la récupération est-elle nécessaire pour ce segment, les passages récupérés sont-ils pertinents, le segment généré est-il soutenu par ces passages, et la réponse est-elle utile à la question posée. Ces jugements, produits pendant le décodage, permettent de sélectionner ou de rejeter des segments et rendent le comportement du système contrôlable à l'inférence. Le point important pour nous est la dissociation de deux critères que la littérature confond souvent : le soutien factuel par les sources et la pertinence par rapport à la question.
DeepView reprend cette dissociation sans en reprendre l'implémentation. Nous n'entraînons pas de modèle à émettre des jetons de réflexion, ce qui supposerait un affinage propre à chaque déploiement : les deux critères sont évalués après génération, par un contrôle séparé portant sur la réponse et les passages qui l'ont conditionnée. Ce que ces contrôles font ensuite dépend du niveau d'effort choisi. Au niveau courant, la réponse est diffusée au fil de sa rédaction et les deux verdicts l'accompagnent à titre indicatif : ils signalent une réponse mal étayée, ils ne la retiennent pas. Aux niveaux supérieurs, la réponse est mise en attente le temps d'être évaluée, et un échec relance la récupération sous un autre angle avant qu'elle ne soit affichée. C'est un arbitrage entre latence et vérification, pas une propriété acquise du système.
Entrer dans le détail
Les choix d'architecture, les écarts assumés par rapport à la littérature et les résultats intermédiaires de l'évaluation se discutent directement avec l'équipe qui construit le système.