皮膚科医の皮膚がんテストで、10年前のCNNがGPT-6 AstraとClaude Fable 5.1を上回る

Googleが2015年に初めて公開した画像ネットワークInception v3のファインチューニング版は、200の生検証明済み皮膚病変のうち62%で正しい診断を命名し、GPT-6 AstraとClaude Fable 5.1の42%に対し上回った。これはロンドンの皮膚科医Magnus Lynchによるテストによる[1]。単一著者の研究は2026年10月25日に公開され、査読されていない[1]。

皮膚科医はどのようにテストを設定したか？

Guy's Hospitalの皮膚科医Magnus Lynchは、2つの最先端LLMと10年前のCNNを200の皮膚病変でテストした。LynchはGuy's HospitalのConsultant Dermatologist and Mohs Surgeonであり、King's College Londonの名誉リーダーである[1]。

彼は2025年にInternational Skin Imaging Collaborationを通じて公開された公開データセットMILK10kから200の病変をランダムに抽出し、それぞれ臨床写真とダーモスコピー画像として表示した[1]。半分は退院させるべきではなく（メラノーマ30、基底細胞癌25、扁平上皮癌25、日光角化症20）、残り半分は無害なほくろと脂漏性角化症である[1]。

すべての病変は生検済みであり、著者が指摘するように日常の症例より難しいセットである[1]。両LLMはデフォルト設定で同じプロンプトを受け、6つの診断から1つを選び、信頼度と第2選択を述べ、病変を安全に退院させられるかどうかを述べなければならなかった[1]。

CNNはISIC Archiveから68,011枚の画像でファインチューニングされ、200のテスト病変と同一病変または患者の他の写真はすべて事前に除外された[1]。Lynchはネットワークが約20分でファインチューニングされ、電話のブラウザで実行できるほど小さいと書いている[1]。

どのモデルが皮膚病変を最も正確に診断したか？

Inception v3は200病変中125の正しい診断を命名し、GPT-6 Astraの84、Claude Fable 5.1の85に対して上回った。第2選択を許すと、CNNは173 of 200に達し、2つのLLMの134と138に対して上回った[1]。

30のメラノーマでは、CNNは13を第1選択として命名し、GPT-6 Astraの8、Claude Fable 5.1の11に対して上回った[1]。基底細胞癌ではGPT-6 Astraに1つ及ばず、日光角化症では両LLMに後れを取った[1]。

LLMはまた好みの回答を示した：GPT-6 Astraは75の病変を基底細胞癌と呼び、25がそうで、メラノーマ30のうち14を含む。Claude Fable 5.1は53の病変を日光角化症と呼び、20がそうだった[1]。

CNNは帰宅を決められる患者を判断する上でも安全か？

デフォルト設定ではそうではない。Lynch自身の表によると、CNNはプリセット閾値で30のメラノーマ中18を退院させ、LLMの3と4に対して多かった。また100の無害な病変のうち76を退院させ、LLMの32と22に対して多かったが、LLMは100の危険な病変のうち97と96を保持した[1]。

著者の表によると、CNNの閾値をLLMの慎重さに合わせると、100の危険な病変のうち98または99を保持し、メラノーマを2または1退院させた[1]。患者として医師に診てもらう必要があるかを尋ねると、両LLMはさらに100のメラノーマのうち99と98で「はい」と答え、無害な病変でも同様だった[1]。

研究の限界は何か？

Lynch自身が限界を挙げている：小規模な数、LLMケースごとの1回の実行、異常に難しい生検症例、LLMの学習データ汚染の可能性[1]。またInception v3はベースラインであり、新しいモデルに基づく規制済み皮膚がん製品は considerably 優れた性能を発揮すると強調している[1]。

彼は分析と初稿がAnthropicのコーディングツールClaude Codeで作成されたことを開示し、テストされた2つのLLMの1つもAnthropicのものである[1]。スコアリングは組織学に対してスクリプトで行われ、ケース、プロンプト、返答はダウンロード用に公開されている[1]。

私たちの見解

意見: 印象的なのは、狭いモデルが一般的なチャットボットを病変認識で上回ることではなく、エラープロファイルがどれほど偏っているかだ。LLMはがんを過剰に呼びほぼ全員を保持する一方、チューニングされたCNNはデフォルト設定でほとんどのメラノーマを帰宅させてしまう。正確さと安全なトリアージは異なるスコアであり、この小規模で未査読のテストは両方を報告するよう思い起こさせる。

検証できなかったこと

• 結果は2026年10月25日に公開された単一著者のブログ投稿から来ており、査読されていない。私たちは公開されたケース、プロンプト、スコアリングコードを再実行しなかった。
• 他の病変や繰り返しの実行でランキングが維持されるかどうか。各LLMケースは1回しか実行されず、回答は実行間で変動し、著者は200の病変では近い結果をランク付けできないと述べている。
• GPT-6 AstraまたはClaude Fable 5.1がMILK10k画像を学習で見たかどうか。データセットは2025年以来公開されており、著者は汚染の可能性を指摘している。
• CNNが規制済み皮膚がん製品とどう比較されるか。著者は最先端システムが彼のInception v3ベースラインより considerably 優れた性能を発揮すると述べているが、それらはテストされていない。