Rechercher dans les documents, vérifier les sources

Le contexte

Un assistant documentaire utile ne doit pas seulement produire une réponse fluide. Il doit extraire un texte exploitable, retrouver les passages pertinents et permettre au lecteur de vérifier la source. Le prototype explore cette démarche pour la consultation de PDF complexes.

Comment j’ai travaillé

• Préparer les documents. Association de l’extraction de texte PDF et de l’OCR pour traiter les contenus textuels et numérisés. Exploration de la classification et du routage, puis découpage du texte en segments.
• Retrouver les passages utiles. Recherche sémantique avec FAISS et transmission du contexte à Qwen 2.5. Séparation de l’extraction, de la recherche et de la génération pour examiner les erreurs à chaque étape.
• Faciliter la vérification. Création d’une interface Gradio pour interroger les documents, avec passages justificatifs et références aux pages sources.
• Évaluer les compromis. Examen distinct de la qualité de recherche et des réponses, ainsi que des compromis entre taille du modèle et temps de réponse.

Livrables et enseignements

Le livrable est un prototype fonctionnel de questions-réponses documentaires, décrit dans le notebook Python lié. Il réunit OCR, classification, recherche et interface dans une même démarche.

Un enseignement central : retrouver un passage pertinent ne garantit pas une réponse correcte. La réponse et sa citation doivent étayer l’affirmation précise. Ce constat a guidé mon évaluation et la présentation des sources.

Portée et limites

Ce prototype de stage n’est ni un système déployé par Pfizer ni un outil de décision clinique ou de conformité. La vérification humaine des sources reste nécessaire. L’extraction des tableaux, le contrôle des citations et l’évaluation sur des documents indépendants sont des pistes d’amélioration.

Les exemples documentaires propres à l’entreprise et les détails sensibles de l’évaluation sont réservés. Le notebook technique reste accessible pour présenter l’implémentation.