探索自然语言基础模型在医学中的潜力，聚焦CLIP和LLMs在临床任务中的应用，强调进一步研究以应对实际挑战。
原文标题：【MIT博士论文】医学人工智能中的自然语言基础模型
原文作者：数据派THU
冷月清谈：
本文探讨了自然语言基础模型（特别是CLIP和大语言模型LLMs）在医学领域中的应用。这些模型在处理医学知识和沟通方面展现出巨大潜力，尤其是在胸部X光解读、鉴别诊断、病史采集和临床管理等任务中。研究强调了在实际临床环境中评估和验证这些模型的必要性，以确保其安全有效。文章还概述了作者在博士期间进行的一系列研究，包括改进CLIP架构用于胸部X光解读，评估CLIP风格模型的可靠性和鲁棒性，以及开发对话式诊断AI（AMIE）并评估其诊断和管理推理能力。
怜星夜思：
1、大型语言模型（LLMs）在医疗领域展现出巨大的潜力，但是否存在过度依赖AI诊断可能导致医生临床技能下降的风险？我们应该如何平衡AI辅助和传统医学技能的培养？
2、AMIE在遗传性心血管疾病和乳腺肿瘤学这两个子专业领域的管理推理能力评估中，与全科医生相比表现如何？如果让你设计实验来评估AI在医疗决策中的辅助效应，你会如何设计？
3、文章提到了CLIP模型对“捷径学习”的鲁棒性评估，这在医学图像识别中意味着什么？我们应该如何防止AI模型在医学图像分析中“偷懒”，学到一些表面上的、不具有泛化能力的特征？
2、AMIE在遗传性心血管疾病和乳腺肿瘤学这两个子专业领域的管理推理能力评估中，与全科医生相比表现如何？如果让你设计实验来评估AI在医疗决策中的辅助效应，你会如何设计？
3、文章提到了CLIP模型对“捷径学习”的鲁棒性评估，这在医学图像识别中意味着什么？我们应该如何防止AI模型在医学图像分析中“偷懒”，学到一些表面上的、不具有泛化能力的特征？
原文内容
来源：专知本文约1000字，建议阅读5分钟
本文旨在进一步增进我们对自然语言基础模型在医学中的潜力的集体理解，同时强调需要进行大量的进一步研究，以应对现实世界的挑战，并理解这些系统可以安全有效地实施的范围。
在过去的十年里，深度学习，特别是大语言模型（LLMs）的变革性崛起，激发了各个领域的专家深入思考人工智能（AI）如何革新他们的领域。在这段时间里，通用基础模型而非狭窄且高度专业化的任务特定系统，开始成为主流范式。在医疗健康领域，AI系统已经在多种实际应用场景中得到了广泛实施，尽管这些系统可能没有经过充分的评估和验证。事实上，它们在处理自然语言方面的卓越能力——自然语言在医学中是知识和沟通的关键媒介——表明这些现代基础模型在医疗领域中可能具有巨大的潜力。然而，仍然需要更好地研究和理解它们的优点、局限性和鲁棒性，特别是在更现实和临床相关的环境中。本文聚焦于两类关键的自然语言驱动的基础模型——对比语言图像预训练（CLIP）模型和大语言模型（LLMs）——并探讨这些模型如何编码和传递有用的临床知识，用于如胸部X光解读、鉴别诊断、病史采集和临床管理等任务。总体而言，本文旨在进一步增进我们对自然语言基础模型在医学中的潜力的集体理解，同时强调需要进行大量的进一步研究，以应对现实世界的挑战，并理解这些系统可以安全有效地实施的范围。
在第一章中，我提供了一些相关背景的概述，包括对比语言-图像预训练模型、大语言模型及其在医学领域的评估。在第二章中，我们通过在预训练过程中应用一种新颖的正则化技术，改进了CLIP架构，以用于胸部X光解读，并使用该模型进行胸部X光发现的零样本识别。在第三章中，我们考察了CLIP风格模型的可靠性。首先，我们评估了它们对捷径学习的鲁棒性，以理解文本自监督可能带来的保护效果。接着，我们探索了如何利用共形预测来控制零样本分类性能，并为这些CLIP风格模型预见兼容输入。在第四章中，我描述了Articulate Medical Intelligence Explorer（AMIE）的开发，这是一个经过模拟医学对话微调的对话诊断AI。我们在两项随机研究中评估了AMIE的诊断能力；首先是在具有挑战性的临床病理会议（CPC）案例中，其次是在虚拟文本基础的客观结构化临床考试（OSCE）中。在第五章中，我们探讨了AMIE在两个子专业领域的管理推理能力：遗传性心血管疾病和乳腺肿瘤学。在这些研究中，我们设计了特定领域的案例管理评估，并将AMIE的表现与在子专业评估下的全科医生进行比较，同时研究其潜在的辅助效应。
https://dspace.mit.edu/handle/1721.1/158802
