Comparaison de la qualité de résumés originaux et de résumés générés par un modèle d’intelligence artifi cielle

Introduction. Les modèles de langage fondés sur l’intelligence artificielle sont de plus en plus utilisés pour la rédaction scientifique. Leur capacité à générer des résumés clairs et informatifs suscite un intérêt croissant, mais peu d’études ont comparé leurs performances à celles d’auteurs humains dans un contexte francophone. Objectifs. L’objectif principal était de comparer la qualité des résumés originaux d’études publiées dans la revue exercer avec ceux générés par ChatGPT-4.0 à partir des textes intégraux, en s’appuyant sur des critères standardisés. Méthode. Cette étude observationnelle a inclus 19 articles originaux d’études observationnelles transversales publiés entre 2020 et 2022 dans exercer. Le modèle de langage ChatGPT-4.0 a été utilisé pour générer des résumés, en suivant une consigne standardisée. Les 38 résumés ont été évalués en aveugle par deux évaluateurs indépendants, selon une grille développée à partir des recommandations STROBE. La qualité des résumés en termes de structure, clarté et exhaustivité a été décrite par des effectifs et pourcentages. Les tests statistiques utilisés ont pris en compte la structure appariée des données, et des coefficients kappa de Cohen ont été calculés. Ré sultats. Les critères de jugement principaux étaient correctement identifiés dans 100 % des résumés des deux sources. Certains éléments, comme le critère de jugement principal, étaient mieux rapportés dans les résumés générés par ChatGPT-4.0, qui se distinguaient également par une meilleure clarté de la section « Méthode » (note moyenne : 7,3 vs 6,3 ; p = 0,046), et un meilleur respect de la structure recommandée (100 % vs 73,7 % ; p = 0,01). Ni les évaluateurs ni ChatGPT-4.0 n’ont correctement distingué la source (humain vs ChatGPT-4.0) des résumés (kappa < 0,2). Conclusion. Les résultats suggèrent que ChatGPT-4.0 produit des résumés de qualité comparable, voire supérieure sur certains aspects, à ceux d’auteurs humains. Ces résultats soulignent le potentiel des modèles de langage pour la rédaction scientifique et soulèvent des enjeux éthiques et méthodologiques, nécessitant une intégration raisonnée de ces technologies dans les pratiques académiques.