知一知 · 今日
← 返回本期日报

社媒话题

测试显示十年前CNN皮肤癌诊断准确率高于前沿大模型

本期日期 2026-10-26 · 08:00 北京时间

一名作者用200个经活检确认的皮肤病灶测试GPT-6 Astra、Claude Fable 5.1和经公开皮肤影像微调的Inception v3。CNN在六类诊断中答对125个,准确率62%,两个大模型分别答对84和85个,准确率42%。测试数据来自2025年发布的MILK10k公共数据集。

文章作者称,自己把同一黑色素瘤的临床照片和皮肤镜照片分别给2026年10月可用的GPT-6 Astra与Claude Fable 5.1看,两个模型都判断为无害的脂溢性角化并认为患者可出院;而基于Google在2015年发布的Inception v3、经公开皮肤科图像微调的CNN,则依据皮肤镜图像给出正确答案。

测试样本来自International Skin Imaging Collaboration在2025年发布的MILK10k数据集。作者随机抽取200个均经组织病理确认的病灶,其中100个不应直接出院,包括30个黑色素瘤、25个基底细胞癌、25个鳞状细胞癌和20个光化性角化病;另外100个可安全出院,包括50个良性痣和50个脂溢性角化。由于良性病灶也接受了活检,样本本身包含不少临床医生曾担心的疑难病例。

两个大模型均收到两种图像,并被要求在六种诊断中选择最可能答案或选择“不确定”,同时给出置信度、次选诊断和能否安全出院。CNN先在ISIC Archive的68011张皮肤镜和临床图像上微调,训练前移除了200个测试病灶及同患者、同病灶的其他照片。结果CNN答对125个,GPT-6 Astra和Claude Fable 5.1分别答对84和85个;若允许次选答案,CNN覆盖173个,两个大模型为134和138个。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页