Séparer la mémoire du raisonnement

Un modèle de langage encode ce qu'il a vu pendant son entraînement dans ses paramètres, sous une forme diffuse et non consultable. Cette mémoire paramétrique a trois limites structurelles : elle est figée à la date de la collecte, elle n'est pas éditable sans réentraînement, et elle ne permet aucune attribution, le modèle ne pouvant pas indiquer d'où vient ce qu'il affirme. Interrogé sur un corpus qu'il n'a jamais vu, il ne détecte pas l'absence : son objectif d'entraînement le pousse à produire la continuation la plus vraisemblable, ce qui donne une réponse bien formée et non fondée.

Lewis et ses coauteurs formalisent en 2020 une architecture qui dissocie les deux fonctions : une mémoire non paramétrique, constituée d'un index consultable sur le corpus, et un modèle génératif qui conditionne sa production sur les passages récupérés au moment de la requête. Le modèle n'a plus à mémoriser le corpus, seulement à rédiger à partir d'un contexte fourni. Les auteurs montrent des gains sur les tâches à forte intensité de connaissances, et surtout une propriété absente des approches purement paramétriques : les passages ayant conditionné la génération sont identifiables.

C'est l'architecture d'DeepView, et non une couche ajoutée : la génération est systématiquement conditionnée sur des passages récupérés, jamais sur la mémoire paramétrique du modèle. Deux conséquences en découlent. L'attribution est structurelle et non reconstruite après coup, puisque les passages cités sont exactement ceux fournis au générateur. Et le corpus n'a jamais à être appris : le modèle de génération reste générique et interchangeable, la connaissance métier étant apportée par l'index construit dans votre environnement.