Un CNN vieux de dix ans bat GPT-6 Astra et Claude Fable 5.1 dans un test de dermatologue sur le cancer de la peau

Une version finement ajustée d'Inception v3, un réseau d'images publié pour la première fois par Google en 2015, a nommé le bon diagnostic pour 62 % de 200 lésions cutanées prouvées par biopsie, contre 42 % pour GPT-6 Astra et Claude Fable 5.1, dans un test réalisé par le dermatologue londonien Magnus Lynch [1]. L'étude d'un seul auteur a été publiée le 25 octobre 2026 et n'est pas révisée par les pairs [1].

Comment le dermatologue a-t-il mis en place le test ?

Magnus Lynch, dermatologue au Guy's Hospital, a testé deux LLM de pointe et un CNN vieux d'une décennie sur 200 lésions cutanées. Lynch est Consultant Dermatologist et Mohs Surgeon au Guy's Hospital et Honorary Reader au King's College London [1].

Il a tiré au sort 200 lésions de MILK10k, un jeu de données public publié par l'International Skin Imaging Collaboration en 2025, chacune présentée sous forme de photo clinique et d'image dermoscopique [1]. La moitié ne doit pas être renvoyée (30 mélanomes, 25 carcinomes basocellulaires, 25 carcinomes spinocellulaires, 20 kératoses actiniques), la moitié sont des grains de beauté et kératoses séborrhéiques inoffensifs [1].

Chaque lésion avait fait l'objet d'une biopsie, ce qui rend l'ensemble plus difficile que les cas quotidiens, note l'auteur [1]. Les deux LLM ont reçu le même prompt aux réglages par défaut et devaient choisir un des six diagnostics, donner une confiance et un second choix, et dire si la lésion pouvait être renvoyée en toute sécurité [1].

Le CNN a été finement ajusté sur 68 011 images de l'ISIC Archive sur un seul GPU H100, les 200 lésions de test et toutes les autres photos des mêmes lésions ou patients ayant été retirées au préalable [1]. Lynch écrit que le réseau a été finement ajusté pendant environ vingt minutes et est suffisamment petit pour fonctionner dans un navigateur de téléphone [1].

Quel modèle a diagnostiqué les lésions cutanées avec le plus de précision ?

Inception v3 a nommé le diagnostic correct pour 125 des 200 lésions, contre 84 pour GPT-6 Astra et 85 pour Claude Fable 5.1. En autorisant un second choix, le CNN a atteint 173 des 200, contre 134 et 138 pour les deux LLM [1].

Sur les 30 mélanomes, le CNN a nommé 13 comme premier choix, contre 8 pour GPT-6 Astra et 11 pour Claude Fable 5.1 [1]. Il était à un près de GPT-6 Astra sur le carcinome basocellulaire et derrière les deux LLM sur la kératose actinique [1].

Les LLM ont également montré des réponses favorites : GPT-6 Astra a appelé 75 lésions carcinome basocellulaire alors qu'il y en avait 25, dont 14 des 30 mélanomes, et Claude Fable 5.1 a appelé 53 lésions kératose actinique alors qu'il y en avait 20 [1].

Le CNN est-il aussi plus sûr pour décider qui peut rentrer chez soi ?

Pas à son réglage par défaut. Le tableau de Lynch montre que le CNN a renvoyé 18 des 30 mélanomes à son seuil prédéfini, contre 3 et 4 pour les LLM. Il a aussi renvoyé 76 des 100 lésions inoffensives, contre 32 et 22 pour les LLM, qui ont conservé 97 et 96 des 100 lésions non sûres [1].

D'après le tableau de l'auteur, lorsque le seuil du CNN est aligné sur la prudence des LLM, il a conservé 98 ou 99 des 100 lésions non sûres et renvoyé 2 ou 1 mélanome [1]. Interrogés en tant que patient s'ils devaient consulter un médecin, les deux LLM ont répondu oui pour 99 et 98 des 100 mélanomes supplémentaires, et pour les lésions inoffensives aussi [1].

Quelles sont les limites de l'étude ?

Lynch énumère lui-même les réserves : petits nombres, une seule exécution par cas LLM, cas biopsiés inhabituellement difficiles et possible contamination des données d'entraînement pour les LLM [1]. Il souligne aussi qu'Inception v3 est une ligne de base et que les produits réglementés de détection du cancer de la peau construits sur des modèles plus récents performent nettement mieux [1].

Il révèle que l'analyse et les premiers brouillons ont été produits avec Claude Code, l'outil de codage d'Anthropic, alors que l'un des deux LLM testés provient aussi d'Anthropic [1]. Le scoring a été fait par script par rapport à l'histologie, et les cas, prompts et réponses sont publiés en téléchargement [1].

Notre lecture

Opinion : Le point frappant n'est pas qu'un modèle étroit batte les chatbots généraux à la reconnaissance des lésions, mais à quel point les profils d'erreur sont déséquilibrés : les LLM surdiagnostiquent le cancer et gardent presque tout le monde, tandis que le CNN ajusté à son réglage par défaut renverrait la plupart des mélanomes. La précision et le triage sûr sont des scores différents, et ce petit test non révisé rappelle de rapporter les deux.

Ce que nous n'avons pas pu vérifier

• Les résultats proviennent d'un billet de blog d'un seul auteur publié le 25 octobre 2026 et n'ont pas été révisés par les pairs ; nous n'avons pas relancé les cas, prompts ou code de scoring publiés.
• Si le classement tient sur d'autres lésions ou sur des exécutions répétées ; chaque cas LLM a été exécuté une seule fois, les réponses varient entre les exécutions, et l'auteur indique que 200 lésions ne permettent pas de classer des résultats proches.
• Si GPT-6 Astra ou Claude Fable 5.1 avaient vu les images de MILK10k pendant l'entraînement ; le jeu de données est public depuis 2025 et l'auteur signale une contamination possible.
• Comment le CNN se compare aux produits réglementés de détection du cancer de la peau ; l'auteur indique que les systèmes de pointe performent nettement mieux que sa ligne de base Inception v3, mais ils n'ont pas été testés.