https://arxiv.org/pdf/2404.07424

或左下角阅读原文

核心速览

CopilotCAD 是一款创新的辅助诊断系统，它结合了大型语言模型 (LLM) 和医学图像基础模型，通过人机协作的方式，提高放射科医生的报告完成效率和诊断准确性，并减轻医生的负担。

研究背景

1. 研究问题：这篇文章要解决的问题是如何通过计算机辅助诊断（CAD）系统增强放射科医生的诊断能力和效率。传统的CAD系统主要通过文本报告生成或医学图像分类来提供诊断结果，忽略了放射科医生的专业知识。
2. 研究难点：该问题的研究难点包括：诊断结果的可解释性、透明性和安全性；CAD系统与人类专家之间缺乏交叉通信；现有CAD系统在生成详细诊断报告方面存在局限性。
3. 相关工作：现有的CAD系统大多处于L1（辅助）到L4（高度自动化）之间的自主水平，而本文提出的CopilotCAD系统则定位于L2到L3（半自动化）之间的自主水平，旨在通过AI和人类专家的协同工作来提高诊断的精确性和效率。

研究方法

这篇论文提出了CopilotCAD系统，用于解决放射科医生在生成诊断报告时的效率和准确性问题。具体来说，

• 整体框架：CopilotCAD系统通过一个结构化框架来优化放射科诊断过程，整合了LLM（大型语言模型）和医学图像基础模型。系统的整体架构包括LLM、医学图像分析模型和一个界面，用于促进AI系统和人类专家之间的交互。

• 医学图像分析：系统首先将医学图像输入系统，利用类似于CLIP架构的选择机制动态选择最适合的医学图像基础模型。然后，系统进行详细的图像分析，包括分割图像以识别和标记不同的解剖结构，并进行关键词检测。

• 信息提示：从医学图像分析中生成的定量证据（如器官体积、形状、强度和纹理特征）被呈现在界面中，与分割图像一起突出显示不同器官。这些信息作为LLM的提示，帮助生成更准确的诊断报告建议。

• 训练数据集构建：CopilotCAD的训练采用指令调优方法，每个训练项由一个结构化的三元组组成：”指令、输入、目标”。”输入”来自图像处理阶段的信息，”目标”是对应器官的诊断报告部分。使用腹部CT图像作为代表性示例，模型不仅包括简单的分割，还包括放射学和统计分析。

实验设计

• 数据集：实验使用了22,109份CTU扫描的文本报告。数据集包括不同年龄段、报告长度、种族、性别分布以及各种病理发现和异常情况的详细信息。

• 报告完成任务：评估了CopilotCAD在报告完成任务中的性能，使用BLEU和ROUGE指标比较生成的报告与实际报告。数据集包括肾脏、肺部、膀胱和阑尾报告的子集。

泛化能力：展示了CopilotCAD在其他器官和图像模态上的应用，证明了其兼容性和通用性。

成本分析：计算成本方面，CopilotCAD使用较小的模型，计算需求较低。数据集构建方面，利用OpenAI的ChatGPT API自动提取相关报告部分，每1,000个文本报告的处理成本较低。

结果与分析

1. 报告完成质量：实验结果表明，CopilotCAD在报告完成任务中表现出色，特别是在结合放射学信息的模型中，BLEU-4和ROUGE评分显著提高。例如，结合放射学信息的模型在肾脏报告数据集上的BLEU-4评分为0.384，ROUGE评分为0.845。
2. 泛化能力：CopilotCAD能够很好地扩展到其他器官和图像模态，证明了其在不同诊断工具上的兼容性。
3. 计算成本：CopilotCAD的计算成本较低，训练一个2B模型只需不到30分钟，使用的计算资源较少。

总体结论

这篇论文提出了CopilotCAD系统，通过整合LLM和医学图像基础模型，增强了放射科医生在生成诊断报告时的效率和准确性。实验结果表明，CopilotCAD在报告完成任务中表现出色，能够显著提高诊断报告的质量。此外，系统还展示了良好的泛化能力和较低的计算成本。尽管存在一些技术限制，如对图像分析模型的依赖、响应延迟和零样本学习能力的局限，但CopilotCAD展示了在放射科诊断中实现人工智能和人类专家协同工作的巨大潜力。

论文评价

优点与创新

1. 建立辅助角色：提出了一个框架，通过将计算机辅助诊断系统与人类专家的决策过程相结合，增强了跨通信，使CAD系统成为医生的辅助工具。
2. 优化AI辅助：通过结合大型语言模型（LLMs）和医学影像基础模型，生成了有信息的提示，指导LLMs，从而提高了诊断报告的准确性和详细性。
3. 初步结果令人鼓舞：从放射学报告质量（报告完成）的角度验证了新系统的潜力，展示了其在定性和定量方面的改进。
4. 交互式界面：提供了一个友好的界面，促进了基于图像的交互式诊断，使放射科医生能够利用AI生成的定量数据和视觉辅助工具做出明智的决策。
5. 计算效率：使用较小的模型来协助放射科医生，所需的计算能力较低，类似于L3级别的自动驾驶系统所需的计算资源。
6. 数据集构建：利用OpenAI的ChatGPT API自动提取特定器官的相关报告部分，确保了数据集的干净和器官级别配对。

不足与反思

1. 依赖图像分析模型：CopilotCAD的功能依赖于医疗图像分析工具的性能，目前这些工具在检测异常方面存在局限，无法检测到多样化和众多的异常。
2. 延迟问题：由于报告过程中涉及人类专家，CopilotCAD的响应速度成为一个关注点，目前7B模型在RTX Titan GPU上的响应速度为50个token/秒。
3. 零样本学习限制：选择较小模型虽然有利于成本和速度，但牺牲了零样本学习能力，模型对新颖图像分析提示的理解受到限制，需要重新训练以引入新的图像分析。
   

   思维导图

   

关键问题及回答

问题1：CopilotCAD系统在医学图像分析方面是如何利用不同的基础模型来提高诊断精度的？

CopilotCAD系统通过集成多种医学图像基础模型来提高诊断精度。具体来说，系统首先将医学图像输入，并利用类似于CLIP架构的选择机制动态选择最适合的医学图像基础模型。例如，对于CT图像，系统可能会选择TotalSegmentator模型来进行解剖结构的分割，或者选择LVM-Med模型来识别病理特征。这些基础模型分别负责不同的分析任务，如分割、关键词检测、几何特征计算和放射学特征提取。生成的定量证据（如器官体积、形状、强度和纹理特征）被呈现在界面中，与分割图像一起突出显示不同器官，作为大型语言模型（LLM）的提示，帮助生成更准确的诊断报告建议。

问题2：CopilotCAD系统在训练过程中如何构建数据集，并且如何利用这些数据集来优化模型性能？

CopilotCAD系统的训练采用指令调优方法，每个训练项由一个结构化的三元组组成：”指令、输入、目标”。具体步骤如下：

1. 图像处理：在图像处理阶段，系统对CT图像应用总分割系统，生成每个器官的精确掩码，并结合计算的放射学特征，形成”输入”组件。
2. 文本处理：使用大型语言模型（LLM）处理来自放射科医生报告的文本数据，通过提示对齐器官特征，增强数据集和模型的学习。
3. 配对阶段：在最终的配对阶段，”输入”（图像分析结果）与”目标”（专家编写的真实报告）匹配，模拟指令调优过程，模型学习预测报告中被遮蔽的部分。

通过这种训练方法，CopilotCAD系统能够生成更准确的诊断报告建议，并持续优化模型性能。实验结果表明，结合放射学信息的模型在肾脏报告数据集上的BLEU-4评分为0.384，ROUGE评分为0.845，显著优于不结合放射学信息的模型。

问题3：CopilotCAD系统在实验中展示了哪些泛化能力，如何证明其兼容性和通用性？

CopilotCAD系统展示了良好的泛化能力，具体体现在以下几个方面：

1. 多器官应用：系统能够轻松地扩展到其他器官的分析，如肺部、膀胱和阑尾。例如，使用”TotalSegmentator+放射学”方法，只需修改提示生成规则，就可以适应不同的器官。
2. 多图像模态：系统还可以扩展到X光图像，利用分类器进行分析。这表明CopilotCAD系统与多种诊断工具兼容，能够适应不同的图像模态和分析需求。
3. 与其他系统的对比：实验结果显示，CopilotCAD系统在报告完成任务中的表现优于其他没有集成AI和人类专家的系统，证明了其在不同诊断工具上的通用性和兼容性。

这些泛化能力表明，CopilotCAD系统不仅适用于特定的器官和图像模态，还能够作为一个通用的辅助诊断工具，与其他诊断系统集成和协作。

参考文献

1. 哈佛医学院将生成式人工智能纳入课程和临床实践，以培训下一代医生
2. 斯坦福&哈佛医学院 – MMedAgent，一个用于医疗领域的多模态医疗AI智能体
3. 喜讯|柯基数据中标两个“大模型+医学”国自然面上项目
4. 哈佛医学院&辉瑞推出基于知识图谱的复杂医学问答智能体MedAI
5. 通过知识图谱自动生成和丰富加速医学知识发现 – 哈佛大学等
6. 医疗保健和医学领域的大模型综述 – 斯坦福&加州大学
7. 医学GraphRAG：通过知识图谱检索增强实现安全医疗大语言模型 – 牛津大学最新论文
8. 消除幻觉的知识图谱增强医学大模型 – “Nature”NPJ数字医学杂志
9. Almanac: 一种用于临床医学的检索增强RAG大语言模型(2023vs2024版)
10. “大模型+知识图谱”双轮驱动的医药数智化转型新范式-OpenKG TOC专家谈
11. 医学AI专家Anthropic CEO万字长文预测人工智能将消除癌症、人类寿命翻倍，世界变得更美好
12. 医疗保健和医学领域的大模型综述 – 斯坦福&加州大学
13. OpenAI o1模型的医学初步研究：我们离人工智能医生更近了吗？
14. AI4S—使用GPT-4撰写生物医学科学综述文章的初步评估研究
15. 智慧升级！医学知识助手“e晓智”全新升级，探索学术无限可能丨吉智探秘
16. Nature杂志 – 针对生物医学研究和医疗保健的生成式大语言模型研究
17. MEDCO:一种颠覆医学教育的多智能体Copilot

  文章内容来自于网络，由百合树AI整理，如有侵权，联系删除。如需开始AI写作请返回主页。