Zehn Jahre altes CNN schlägt GPT-6 Astra und Claude Fable 5.1 in Hautkrebstest eines Dermatologen

Eine feinabgestimmte Version von Inception v3, einem Bildnetzwerk, das Google erstmals 2015 veröffentlichte, nannte die richtige Diagnose bei 62 % von 200 bioptisch gesicherten Hautläsionen, gegenüber 42 % bei GPT-6 Astra und Claude Fable 5.1, in einem Test des Londoner Dermatologen Magnus Lynch [1]. Die Einzelautoren-Studie wurde am 25. Oktober 2026 veröffentlicht und ist nicht peer-reviewed [1].

Wie hat der Dermatologe den Test aufgebaut?

Magnus Lynch, ein Dermatologe am Guy's Hospital, testete zwei Frontier-LLMs und ein zehn Jahre altes CNN an 200 Hautläsionen. Lynch ist Consultant Dermatologist und Mohs Surgeon am Guy's Hospital sowie Honorary Reader am King's College London [1].

Er zog 200 Läsionen zufällig aus MILK10k, einem öffentlichen Datensatz, der 2025 über die International Skin Imaging Collaboration veröffentlicht wurde, jede als klinisches Foto und dermatoskopisches Bild gezeigt [1]. Die Hälfte sollte nicht entlassen werden (30 Melanome, 25 Basalzellkarzinome, 25 Plattenepithelkarzinome, 20 aktinische Keratosen), die Hälfte sind harmlose Muttermale und seborrhoische Keratosen [1].

Jede Läsion war biopsiert worden, was den Datensatz schwieriger macht als Alltagsfälle, merkt der Autor an [1]. Beide LLMs erhielten denselben Prompt bei Standardeinstellungen und mussten eine von sechs Diagnosen wählen, eine Konfidenz und Zweitwahl angeben sowie sagen, ob die Läsion sicher entlassen werden kann [1].

Das CNN wurde auf 68.011 Bildern aus dem ISIC-Archiv auf einer einzelnen H100-GPU feinabgestimmt, wobei die 200 Testläsionen und alle anderen Fotos derselben Läsionen oder Patienten zuvor entfernt wurden [1]. Lynch schreibt, dass das Netzwerk etwa zwanzig Minuten lang feinabgestimmt wurde und klein genug ist, um in einem Browser auf dem Handy zu laufen [1].

Welches Modell diagnostizierte Hautläsionen am genauesten?

Inception v3 nannte die korrekte Diagnose bei 125 von 200 Läsionen, gegenüber 84 bei GPT-6 Astra und 85 bei Claude Fable 5.1. Mit einer Zweitwahl erreichte das CNN 173 von 200, gegenüber 134 und 138 bei den beiden LLMs [1].

Bei den 30 Melanomen nannte das CNN 13 als erste Wahl, gegenüber 8 bei GPT-6 Astra und 11 bei Claude Fable 5.1 [1]. Es lag bei Basalzellkarzinomen nur knapp hinter GPT-6 Astra und bei aktinischer Keratose hinter beiden LLMs [1].

Die LLMs zeigten auch Lieblingsantworten: GPT-6 Astra bezeichnete 75 Läsionen als Basalzellkarzinom, obwohl nur 25 welche waren, darunter 14 der 30 Melanome, und Claude Fable 5.1 bezeichnete 53 Läsionen als aktinische Keratose, obwohl nur 20 welche waren [1].

Ist das CNN auch sicherer bei der Entscheidung, wer nach Hause darf?

Nicht bei seiner Standardeinstellung. Lynchs eigene Tabelle zeigt, dass das CNN bei seiner voreingestellten Schwelle 18 von 30 Melanomen nach Hause schickte, gegenüber 3 und 4 bei den LLMs. Es entließ auch 76 der 100 harmlosen Läsionen, gegenüber 32 und 22 bei den LLMs, die 97 und 96 der 100 unsicheren Läsionen behielten [1].

Laut der Tabelle des Autors behielt das CNN bei einer Schwelle, die der Vorsicht der LLMs angepasst wurde, 98 oder 99 der 100 unsicheren Läsionen und entließ 2 oder 1 Melanome [1]. Als Patient gefragt, ob sie einen Arzt aufsuchen müssten, sagten beide LLMs ja bei 99 und 98 von weiteren 100 Melanomen und auch bei harmlosen Läsionen [1].

Was sind die Grenzen der Studie?

Lynch listet die Einschränkungen selbst auf: kleine Zahlen, ein Durchlauf pro LLM-Fall, ungewöhnlich schwierige biopsierte Fälle und mögliche Trainingsdaten-Kontamination bei den LLMs [1]. Er betont auch, dass Inception v3 nur ein Baseline ist und regulierte Hautkrebsprodukte auf neueren Modellen deutlich besser abschneiden [1].

Er gibt an, dass Analyse und erste Entwürfe mit Claude Code, Anthropics Coding-Tool, erstellt wurden, während eines der beiden getesteten LLMs ebenfalls von Anthropic stammt [1]. Die Bewertung erfolgte per Skript gegen die Histologie, und die Fälle, Prompts und Antworten sind zum Download veröffentlicht [1].

Unsere Einschätzung

Meinung: Das Auffällige ist nicht, dass ein enges Modell allgemeine Chatbots bei der Erkennung von Läsionen schlägt, sondern wie einseitig die Fehlerprofile sind: Die LLMs überdiagnostizieren Krebs und behalten fast jeden, während das feinabgestimmte CNN bei seiner Standardeinstellung die meisten Melanome nach Hause schicken würde. Genauigkeit und sichere Triage sind unterschiedliche Metriken, und dieser kleine, nicht begutachtete Test erinnert daran, beide zu berichten.

Was wir nicht verifizieren konnten

• Die Ergebnisse stammen aus einem Einzelautoren-Blogpost, der am 25. Oktober 2026 veröffentlicht wurde und nicht peer-reviewed ist; wir haben die veröffentlichten Fälle, Prompts oder den Scoring-Code nicht erneut ausgeführt.
• Ob die Rangfolge bei anderen Läsionen oder bei Wiederholungsläufen gilt; jeder LLM-Fall wurde nur einmal ausgeführt, Antworten variieren zwischen Läufen, und der Autor sagt, 200 Läsionen können enge Ergebnisse nicht ranken.
• Ob GPT-6 Astra oder Claude Fable 5.1 die MILK10k-Bilder im Training gesehen haben; der Datensatz ist seit 2025 öffentlich und der Autor kennzeichnet Kontamination als möglich.
• Wie das CNN mit regulierten Hautkrebsprodukten abschneidet; der Autor sagt, State-of-the-Art-Systeme schneiden deutlich besser ab als seine Inception-v3-Baseline, aber sie wurden nicht getestet.