《Science》研究显示 o1 模型诊断准确率超人类专家
《Science》期刊发表哈佛医学院等联合研究，OpenAI o1-preview 大模型在急诊室病例诊断测试中超越人类主治医师。研究团队策划 6 场综合测试，涵盖历史经典病案与现代真实急诊案例。在新英格兰医学杂志临床病理学病例对决中，o1-preview 在 78.3% 病例中将正确诊断纳入鉴别诊断列表，52% 病例第一顺位即为正确答案。对比 GPT-4 的 72.9% 准确率，o1-preview 达到 88.6%。波士顿贝斯以色列女执事医疗中心急诊室真实盲测显示，o1 模型在入院阶段诊断准确率达 81.6%，人类医生在初期分诊阶段差距最为悬殊。研究采用 Revised-IDEA 评分标准，80 个高难度测试案例中 o1-preview 在 78 个案例获满分。医疗管理步骤评估中，o1-preview 得分中位数 89 分，人类医生即便借助 GPT-4 辅助仅 41 分左右。研究暴露当前模型仅处理文本信息的局限，非文本信号如影像判断仍是挑战。
|
|
|
|
|
|
|
|
|
