GPT4在模拟答案 中的表现优于初级和见习眼科医生

一项新的研究表明，像GPT-4这样的大型语言模型 ( LLM )可能在眼科领域有前景，但局限性和风险仍然存在。剑桥大学的研究人员在模拟答案 中对 GPT-4 以及其他法学硕士与人类眼科医生进行了测试。

GPT-4 在答案 中正确回答了 87 个问题中的 60 个问题

结果很有趣。 GPT-4 正确回答了 87 个问题中的 60 个问题，超过了见习医生(平均：59.7)和初级医生(平均：37)的表现。然而，它低于眼科专家的平均分(66.4)。其他法学硕士，如 PaLM 2 和GPT-3.5，表现不那么令人印象深刻。

虽然这些发现暗示了潜在的好处，但研究人员强调了重大风险。该研究有限的问题库引发了人们对普遍性的担忧。更重要的是，法学硕士很容易产生“幻觉”，捏造信息可能导致白内障或癌症等严重疾病的误诊。此外，法学硕士缺乏固有的细微差别可能会加剧不准确性。

该研究明确强调，在法学硕士被视为可靠的医学诊断工具之前，需要进一步研究和开发。由于与医疗诊断有关的任何事情都存在很大的风险，我们可能需要等待很长一段时间才能将法学硕士纳入主流医疗环境。