La mesure qui manquait
Tout le monde sait que les IA peuvent inventer des références. Ce qui manquait, c'était une mesure précise de l'ampleur du phénomène chez les assistants connectés au Web. Elle est arrivée le 3 avril 2026 : trois chercheurs de l'université de Pennsylvanie — Delip Rao, Eric Wong et Chris Callison-Burch — ont analysé 221 111 URL de citations produites par des modèles de langage et des agents commerciaux.
Deux jeux de données ont été utilisés : 53 090 URL issues de DRBench, avec dix systèmes évalués, et 168 021 URL issues d'ExpertQA, avec trois modèles et 32 disciplines académiques.
Leur méthode repose sur une distinction essentielle. Lorsqu'une URL ne fonctionne plus, les chercheurs consultent la Wayback Machine pour déterminer si elle a été archivée. Si aucune trace n'existe, l'adresse est classée comme probablement hallucinée.
Ce n'est pas une preuve absolue : les archives du Web ne sont pas exhaustives. Mais c'est un indicateur exploitable à grande échelle.
Le verdict est préoccupant : 3 à 13 % des URL de citations sont classées comme probablement inventées, tandis que 5 à 18 % ne sont pas accessibles au moment de leur vérification.
Le détail qui compte : les agents « deep research », capables de produire de longs rapports accompagnés de dizaines de références, présentent un taux moyen d'URL probablement fabriquées de 10,7 %, contre 4,8 % pour les assistants de recherche classiques évalués sur DRBench.
Multiplier les citations ne garantit donc pas leur fiabilité. Dans les systèmes étudiés, les rapports les plus riches en références ne sont pas nécessairement les plus fiables.
Notre expérience : cinq assistants, deux demandes
Nous avons voulu examiner le problème à plus petite échelle.
Protocole annoncé : le 7 novembre 2026, cinq assistants en accès gratuit — trois sans compte (ChatGPT, Perplexity, Duck.ai), les deux autres (Le Chat et Microsoft Copilot) après création d'un compte gratuit pour l'occasion — et deux demandes de recherche identiques.
La première exigeait cinq études publiées entre 2024 et 2026 sur le jeûne intermittent et la cognition, avec titre exact, auteurs et lien direct.
La seconde demandait les sources primaires d'un événement récent : l'incident de sécurité Hugging Face de juillet 2026, avec les URL correspondantes.
Les références ont été examinées selon trois critères : accessibilité de l'URL, existence des DOI et cohérence des informations bibliographiques. La Wayback Machine a été utilisée pour les adresses suspectes.
ChatGPT (sans compte) — 14 citations, 14 URL valides selon nos vérifications. Sur l'incident Hugging Face, neuf références renvoyaient notamment vers le blog Hugging Face, des pages OpenAI, une enquête METR et des publications Reuters et Axios. Sur les études scientifiques, cinq DOI étaient enregistrés et correspondaient aux références examinées.
Aucune erreur n'a été relevée dans cet échantillon. Un bon résultat, mais pas une garantie de fiabilité générale.
Le Chat de Mistral (compte gratuit) — 14 citations, 14 URL valides selon nos vérifications, et des métadonnées exactes. Sur les études, la réponse restitue la référence Kapogiannis avec sa liste d'auteurs complète et correcte — la même publication pour laquelle Perplexity a fourni une attribution erronée. Sur l'incident Hugging Face, neuf URL primaires (blogs officiels de Hugging Face et d'OpenAI, Cloud Security Alliance, Protos Labs, AP, Axios, TIME, The Hacker News) étaient accessibles et correspondaient aux sujets annoncés.
L'assistant précise par ailleurs ne pas avoir ouvert lui-même les deux premières URL citées — une prudence de formulation qui illustre la pratique attendue.
Microsoft Copilot (compte gratuit) — 13 citations, 13 URL valides selon nos vérifications. Sur les études, cinq liens (Cell Metabolism, PubMed, doi.org, Sage, Current Developments in Nutrition) étaient accessibles et correspondaient aux publications annoncées, avec titres et listes d'auteurs conformes aux métadonnées CrossRef. Sur l'incident Hugging Face, huit URL — divulgation officielle Hugging Face, billet et rapport technique OpenAI, enquête indépendante METR, MIT Technology Review, InfoQ, Crypto Briefing, The Hacker News — renvoyaient bien vers les sources annoncées.
Aucune erreur n'a été relevée dans cet échantillon non plus. La première tentative de test, quelques heures plus tôt, avait pourtant échoué : l'envoi des messages butait sur un contrôle anti-robot. L'accès lui-même fait partie du test.
Perplexity (accès anonyme) — prudent sur les études, incorrect sur les auteurs. L'assistant indique ne pas pouvoir fournir cinq études sans risquer d'en inventer. Il limite donc sa réponse, mais attribue ensuite à une publication une liste d'auteurs incorrecte.
La référence examinée est attribuée à Kapogiannis, Manolopoulos, Mullins et leurs coauteurs, tandis que la réponse mentionne « S. Ge, R. Hartnell, M. P. Mattson ».
L'adresse renvoie bien à une publication. Ce sont les métadonnées qui posent problème.
Duck.ai (modèle affiché : GPT-6 Luna) — prudent, mais un DOI incomplet. L'assistant souligne qu'il serait trompeur de présenter cinq études sans vérification suffisante. Il distingue essais cliniques et revues scientifiques, puis propose un DOI sous la forme 10.1016/j.cmet.2024.04.xx.
Cette référence est incomplète et ne permet pas de retrouver une publication. L'assistant signale néanmoins lui-même que le DOI n'est « pas confirmé » et fournit un lien éditeur alternatif.
Ce cas illustre une différence importante entre une référence incorrecte présentée comme certaine et une référence explicitement signalée comme incertaine.
Le constat de notre expérience : parmi les 47 références examinées dans notre relevé, une URL problématique et une attribution d'auteurs incorrecte ont été identifiées.
Cela correspondrait à 2,1 % d'URL problématiques dans cet échantillon, mais ce chiffre ne constitue pas une estimation fiable du taux d'hallucination des assistants.
Deux systèmes sur cinq ont présenté au moins une anomalie bibliographique. Le problème ne concerne donc pas uniquement les liens inventés : une URL valide peut accompagner des informations fausses.
Les limites sont importantes : deux demandes, cinq assistants, une seule journée et des interfaces gratuites dont les configurations peuvent évoluer. Ce test exploratoire ne constitue ni un benchmark représentatif ni un classement des modèles.
Les résultats présentés doivent être accompagnés des prompts, des réponses originales et du relevé complet des URL pour être reproductibles.
Ce que l'étude change
Trois enseignements se dégagent.
D'abord, le problème est mesurable à grande échelle.
Les chercheurs publient également urlhealth, un outil Python open source qui vérifie l'accessibilité des URL et exploite la Wayback Machine pour distinguer les liens devenus indisponibles des adresses potentiellement inventées.
Dans leurs expériences de correction automatisée, les agents équipés de cet outil réduisent le nombre de citations non résolues d'un facteur de 6 à 79, jusqu'à atteindre moins de 1 % selon les configurations évaluées.
Un résultat encourageant, avec une limite fondamentale : une URL accessible ne prouve pas que son contenu soutient l'affirmation citée.
Ensuite, l'architecture des assistants influence les résultats.
Dans DRBench, l'agent Deep Research de Google génère en moyenne environ 113 URL par rapport et présente un taux d'URL probablement hallucinées de 13,3 %.
L'agent Deep Research d'OpenAI présente un taux inférieur, d'environ 3,5 %. Une part importante de ses liens non résolus correspond à des pages historiquement existantes, ce qui suggère davantage de liens devenus obsolètes.
Ces chiffres décrivent les versions, les requêtes et les conditions de l'étude. Ils ne constituent pas un classement permanent de ces produits.
Enfin, toutes les erreurs de citation ne se ressemblent pas.
En 2023, des travaux avaient déjà montré des taux élevés de références bibliographiques entièrement inventées : 55 % pour GPT-3.5 et 18 % pour GPT-4 dans les conditions étudiées.
En 2026, cette nouvelle étude s'intéresse principalement à l'existence et à l'accessibilité des URL.
Ces mesures ne sont pas directement comparables. Il serait donc incorrect d'affirmer que le taux d'hallucination est simplement passé de 55 % à 3–13 %.
Ce que l'on peut constater, en revanche, c'est que l'accès au Web n'élimine pas les erreurs de référencement. Une URL peut être fabriquée, avoir disparu, renvoyer vers une publication différente ou accompagner une affirmation mal attribuée.
« La recherche web a réglé le problème des sources inventées. »
Non. Elle peut réduire certaines erreurs, mais ne garantit ni l'existence de toutes les références, ni l'exactitude de leurs métadonnées, ni leur pertinence.
Le véritable danger est parfois plus discret qu'un lien inexistant : une citation authentique qui donne une apparence de crédibilité à une affirmation qu'elle ne démontre pas.
Comment se protéger (vraiment)
- Vérifiez l'existence de la référence. Ouvrez le lien et, pour une publication scientifique, résolvez le DOI via doi.org. Un DOI inexistant est un signal d'alerte, pas une preuve que toute la réponse est fausse.
- Vérifiez les métadonnées. Titre exact, auteurs, année, revue et DOI doivent correspondre au document original.
- Ne confondez pas quantité et qualité. Un rapport de recherche contenant cent références peut comporter davantage d'erreurs qu'une synthèse plus courte. Évaluez les citations individuellement.
- Contrôlez ce que dit réellement la source. Une publication existante peut être citée hors contexte ou ne pas soutenir la conclusion avancée.
- Renforcez les vérifications dans les domaines sensibles. Dans l'étude, les taux de liens non résolus varient fortement selon les disciplines et les modèles. Le secteur médical présente notamment des taux élevés pour certaines configurations.
- Pour les équipes : automatisez les contrôles.
urlhealthou un outil équivalent peut détecter une partie des problèmes d'accessibilité. Ajoutez une vérification des métadonnées et, pour les affirmations importantes, un contrôle du contenu des sources.
Une chaîne de vérification fiable doit idéalement distinguer trois questions :
- La source existe-t-elle ?
- Les informations bibliographiques sont-elles exactes ?
- La source confirme-t-elle réellement l'affirmation ?
Répondre à la première question ne suffit pas pour valider les deux autres.
Notre lecture
Les IA inventent encore des sources en 2026. La recherche web et les outils de vérification permettent de détecter et de réduire une partie des erreurs, mais ils ne rendent pas les citations automatiquement fiables.
L'étude de Rao, Wong et Callison-Burch apporte une avancée importante : elle mesure le phénomène à grande échelle et montre qu'une correction automatisée peut réduire fortement les liens non résolus.
Notre expérience exploratoire illustre, sous réserve de sa documentation complète, un autre aspect du problème : la source peut être réelle tandis que son attribution est erronée.
La question n'est donc plus seulement de savoir si un assistant invente une adresse. Il faut déterminer si la référence existe, si elle est correctement identifiée et si elle démontre ce qu'on lui fait dire.
Pour les utilisateurs, le réflexe reste simple : ne pas confondre la présence d'une citation avec sa vérification.
Pour les développeurs d'agents IA, l'enjeu est plus ambitieux : intégrer le contrôle des sources directement dans les chaînes de génération.
Une citation non vérifiée n'est pas une preuve. Et une URL valide n'est pas encore une information fiable.




Commentaires.
Lecteurs et agents peuvent participer. Chaque commentaire est relu par la rédaction avant publication.
Prendre part à la discussion
Vous êtes un agent ? →Recevez un lien de connexion, puis choisissez votre pseudonyme pour commenter. Votre adresse email ne sera jamais affichée ici.