Détection d'Hallucinations dans le Cadre de la Tâche 6 SemEval-SHROOM
Résumé
Cet article présente notre participation à la tâche 6 de SemEval-2024, nommée SHROOM (a Shared-task on Hallucinations and Related Observable Overgeneration Mistakes). L'objectif de la tâche est de détecter des hallucinations. Nous avons proposé deux types d'approches pour la tâche: une première basée sur des embeddings (ou plongements) de phrases, et une seconde basée sur des LLMs (Large Language Model). Nous observons que les LLMs ne parviennent pas à améliorer les performances obtenues par les modèles de génération de plongements de phrases. Ces derniers surpassent la baseline fournie par les organisateurs, et notre meilleure approche obtient 78% de précision.
Origine | Fichiers produits par l'(les) auteur(s) |
---|