L’IA ChatGPT a presque réussi l’examen de médecine américain

by



istock 1463884479

On en parle beaucoup depuis quelques mois tant il fascine et inquiète à la fois. Le logiciel ChatGPT, outil conversationnel établi à partir d’une intelligence artificielle, a failli être diplômé de médecine aux États-Unis.

Des chercheurs de la start-up AnsibleHealth se sont « amusés » à soumettre un examen de médecine américain à ChatGPT, cet agent conversationnel qui semble avoir réponse à tout ou presque. Ils ont détaillé leur expérience dans une étude parue dans la revue PLOS Digital Health (Source 1).

L’examen en question, baptisé USMLE, est divisé en trois parties : la première est passée après deux ans d’étude de médecine, la 2e au bout de 4 ans, et la 3e en fin de cursus, pour devenir médecin. L’USMLE évalue ainsi les connaissances couvrant la plupart des disciplines médicales, allant de la biochimie au raisonnement diagnostique, en passant par la bioéthique.

ChatGPT a ainsi dû répondre à 350 des quelque 376 questions publiées sur le site de l’USMLE et issues de l’examen de juin 2022. Les questions portant sur des images ont été retirées, de sorte que les questions restantes pouvaient être à choix multiples (QCM) avec ou sans justification, ou des questions ouvertes.

Verdict : ChatGPT a obtenu un score compris entre 52,4 % et 75 % pour les trois examens USMLE. Sachant que le seuil de réussite chaque année est d’environ 60 %. ChatGPT a également montré une concordance de 94,6 % dans toutes ses réponses et a produit au moins un aperçu significatif, à savoir quelque chose de nouveau, non évident et cliniquement validé, pour 88,9 % de ses réponses. ChatGPT a même dépassé les performances de PubMedGPT, un modèle homologué formé exclusivement sur la littérature biomédicale, qui a obtenu un score de 50,8 % sur un ensemble de données plus ancien de questions dans le style du USMLE.

Un logiciel vu comme un partenaire ou une aide pour les médecins

« Atteindre la note de passage pour cet examen expert notoirement difficile, et le faire sans aucun renfort humain, marque une étape notable dans la maturation clinique de l’IA », ont estimé les auteurs de l’étude. Le Dr Tiffany Kung, co-auteure de l’étude, a ajouté que le rôle de ChatGPT dans cette recherche allait au-delà du sujet de l’étude : « ChatGPT a considérablement contribué à la rédaction de [notre] manuscrit… Nous avons interagi avec ChatGPT un peu comme un collègue, lui demandant de synthétiser, simplifier et offrent des contrepoints aux brouillons en cours… Tous les coauteurs ont apprécié l’apport de ChatGPT ».



Source link

Related Posts

Leave a Comment