哈佛医学院&辉瑞推出基于知识图谱的复杂医学问答智能体MedAI

哈佛医学院&辉瑞推出基于知识图谱的复杂医学问答智能体MedAI概述

哈佛医学院和辉瑞推出了 MedAI,这是一种基于知识图谱的新智能体KGAREVION,旨在改变复杂医学问答的格局。这种创新智能体通过整合LLM的非编码知识和KG的结构化知识,解决了医疗保健领域大型语言模型 (LLM) 的关键缺陷,特别是它们难以检索精确且与上下文相关的信息。通过巧妙地融合结构化和非结构化知识,MedAI 显著提高了医疗信息检索的准确性和可靠性。

在快节奏的医疗保健世界中,每个决策都可能产生深远的影响,因此寻求准确可靠的信息比以往任何时候都更加重要。MedAI 不仅仅是另一种 AI 工具;这是医疗信息检索领域的绝佳选择。通过巧妙地整合结构化和非结构化知识,它解决了传统 LLM 留下的关键空白。想象一下这样一个系统,它不仅可以理解复杂的医学术语,还可以无缝地连接不同信息之间的点。

关键要点 :

  • 哈佛医学院推出了 MedAI,这是一种基于知识图谱的智能体,旨在通过解决医疗保健中大型语言模型 (LLM) 的局限性来改进医学问答。
  • LLM 在医疗保健领域面临挑战,因为它们倾向于提供不正确或不完整的信息,并且难以将结构化数据与非结构化文本集成。
  • MedAI 使用统一医学语言系统 (UMLS) 代码将 LLM 与特定领域的知识图谱相结合,以提高医疗信息检索的准确性和上下文相关性。
  • MedAI 的方法包括为医学概念生成三元组,将 LLM 令牌嵌入与知识图谱嵌入保持一致,以及为知识图谱完成任务微调 LLM。
  • MedAI 通过利用 LLM 和知识图谱的优势,展示了在复杂医疗查询中的性能改进,为医疗信息检索提供了强大的解决方案。
  • KGAREVION 结合了大型语言模型 (LLM) 的非编码知识和知识图谱 (KG) 的结构化知识,以解决复杂医学问答中的挑战。KGAREVION 通过“生成阶段(生成医疗三元组)、审查阶段(利用UMLS代码将三元组与知识图谱进行比对验证)、修正阶段(修正不完整或不正确的医疗三元组)和回答阶段(选择最佳答案)。”四个步骤,确保答案的准确性和相关性。
  • KGAREVION 在四个标准医学问答数据集和三个新的具有不同语义复杂性的数据集上均优于其他15个模型,准确率提升超过5.2%。 对答案的顺序和索引不敏感,展现了其鲁棒性。
  • KGAREVION 可以与不同的LLM和KG一起使用,具有很强的适应性和通用性。
  • KGAREVION 在开放式问答设置中也表现出色,并通过消融实验验证了各个模块的有效性。
  • 研究人员创建了新的MedDDx数据集,用于评估模型处理语义复杂答案的能力。

挑战:医疗保健领域的 LLM

虽然 LLM 在各个领域都显示出非凡的前景,但它们在医学环境中面临着巨大的挑战。这些限制包括:

  • 倾向于提供不正确或不完整的信息
  • 难以将结构化数据与非结构化文本集成
  • 在复杂的医学推理任务中表现不佳
  • 医学术语使用缺乏一致性

这些缺点可能会导致医疗保健环境中的潜在有害结果,在这些环境中,精确度和准确性至关重要。LLM 无法有效地将结构化数据(如医学代码)与非结构化文本相结合,导致在理解复杂的医学概念方面存在重大差距。这种限制严重阻碍了他们在需要细致入微的医学推理的任务中的有效性。

MedAI:基于知识图谱的解决方案

为了克服这些挑战,哈佛大学的研究人员开发了 MedAI,它将 LLM 的强大功能与特定领域的知识图谱相结合。这种创新方法使用统一医学语言系统 (UMLS) 代码来一致地映射医学术语,从而创建结构化和非结构化知识的无缝融合。

MedAI 的方法涉及几个关键步骤:

1. 三元组生成 :系统生成三元组以提取医学概念及其关系,创建一个全面的医学知识网络。

2. 知识图谱验证:这些三元组通过全面的医学知识图谱经过严格的审查和验证,确保准确性和相关性。

3. LLM 微调 :该系统对与知识图谱完成相关的任务的 LLM 进行微调,增强它们预测缺失关系或实体的能力。

4. 令牌嵌入对齐:MedAI 将 LLM 令牌嵌入与知识图嵌入保持一致,确保信息源的连贯集成并提高模型的整体性能。

相关工作

  • 基于LLM的推理。通用LLM(GPT(OpenAI,2024)、LLaMA系列(Dubey等,2024;Touvron等,2023)、Mistral(Jiang等,2023))以及针对生物医学数据进行微调的LLM(BioMedLM(Venigalla等,2022)、Codex(Liévin等,2024)、MedAlpaca(Han等,2023)、Med-PaLM(Singhal等,2023)、PMC-LLaMA(Wu等,2024a))通过利用其丰富的嵌入知识用于医疗推理。其他模型利用LLM的开放式推理能力将查询分解为子任务,逐步得出最终答案,例如思维链(Chain-of-Thought,CoT)(Wei等,2024)、CODEX COT(Gramopadhye等,2024)。但是,这些方法在处理需要多来源特定知识的知识密集型医疗查询时常常显得捉襟见肘。

  • 基于RAG的模型。Self-RAG(Asai等,2024)是一种开创性框架,通过检索和自我反思来增强LLM性能。LLM-AMT(Wang等,2023b)通过将权威医学教科书整合到具有专业知识检索和自我优化技术的大型语言模型中,来改善医学问答。自适应RAG(Jeong等,2024)引入了一种动态RAG框架,根据问题复杂度调整检索策略。然而,其准确性受限于检索知识的质量(Zhang等,2024)。
  • 基于KG的模型。在LLM兴起之前,多个模型(如QAGNN(Yasunaga等,2021)、JointLK(Sun等,2022)和Dragon(Yasunaga等,2022))被开发出来,旨在通过KG以端到端的方式解决医学查询。然而,这些方法难以应用于涉及未见节点或图中不完整知识的问题。此外,KG因其结构化和可靠的信息,已推动研究朝向基于图数据的RAG模型,激励了GraphRAG(Edge等,2024)、KG-RAG(Soman等,2023)和MedGraphRAG(Wu等,2024b)等模型的发展。为提高检索准确性,引入KG-Rank(Yang等,2024)对检索到的三元组进行排名并过滤掉无关知识。此外,GenGround(Shi等,2024)使用生成-再验证(Generate-then-Ground)流程,通过提示LLM验证检索到的知识来定位答案。然而,所有这些方法都过于依赖语义依赖关系,忽视了KG中丰富的结构信息。
  • Knowledge-Graph AGENT (MedAI)视频详细介绍

知识图谱智能体的优势

“生物医学知识具有独特的复杂性和结构化性,与物理学或化学等其他科学学科相比,需要不同的推理策略。生物医学科学家不依赖于单一的推理方法;相反,他们使用各种策略,包括基于规则、基于原型和基于案例的推理。这种多样性需要灵活的方法,在利用域内知识的同时适应多种推理策略。

我们介绍了 KGAREVION,这是一种基于知识图谱 (KG) 的智能体,旨在解决知识密集型医疗查询的复杂性。收到查询后,KGAREVION 使用 LLM 的知识库生成相关的三元组。然后,根据接地的 KG 验证这些三元组,以过滤掉错误信息,并确保只有准确、相关的数据才能为最终答案做出贡献。

哈佛医学院&辉瑞推出基于知识图谱的复杂医学问答智能体MedAI

图:a)KGAREVION的概述。b)在审核动作中微调阶段的架构,其中从知识图谱(KGs)获得的嵌入是结构嵌入,而来自大型语言模型(LLMs)的嵌入是概念嵌入。

与基于 RAG 的模型不同,这种多步骤过程可确保推理的稳健性,同时适应不同的医学推理模型。对四个黄金标准医疗 QA 数据集的评估表明,KGAREVION 将准确性提高了 5.2% 以上,在处理复杂医疗问题方面的表现优于 15 个模型。为了测试其功能,我们策划了三个具有不同语义复杂程度的新医学 QA 数据集,其中 KGAREVION 的准确率提高了 10.4%。

在官方研究论文中阅读更多关于医学问答最新进展的信息。https://arxiv.org/pdf/2410.04660 

哈佛医学院&辉瑞推出基于知识图谱的复杂医学问答智能体MedAI

知识图谱与 LLM 的集成具有许多优势:

  • 显著提高医学问答的推理和准确性
  • 增强了预测知识图谱中缺失关系或实体的能力
  • 知识图谱或 LLM 持续更新的可能性
  • 在处理复杂的医疗概念方面具有卓越的性能
  • 更可靠且与上下文相关的信息检索

这些优势使 MedAI 成为医疗保健专业人员的强大工具,为他们提供可靠和最新的信息。该系统适应新医学知识的能力确保了其在快速发展的医疗保健领域的持续相关性。

结果:提高了复杂查询的性能

MedAI 的实施显著提高了复杂医疗查询的准确性。通过利用 LLM 和知识图谱的优势,该智能体展示了卓越的性能,尤其是在医学概念的复杂性增加时。这种方法有效地解决了传统检索增强生成方法的局限性,为医疗信息检索提供了强大的解决方案。

在比较研究中,MedAI 表明:

  • 回答复杂医学问题的准确率更高
  • 提高使用医学术语的一致性
  • 更好地集成结构化和非结构化医疗数据
  • 增强提供上下文相关信息的能力

这些结果强调了 MedAI 在显著提高医疗信息检索系统的质量和可靠性方面的潜力。

哈佛大学的 MedAI 代表了医学问答技术的重大飞跃。通过将 LLM 与结构化医学知识图谱无缝集成,这种基于知识图谱的智能体增强了推理能力和准确性,为更可靠、更高效的医疗保健解决方案铺平了道路。随着医疗保健行业的不断发展,像 MedAI 这样的工具将在确保医疗专业人员能够获得最准确和相关的信息方面发挥关键作用,最终改善患者护理和结果。

批注:

MedAI在解决关键的医学循证和幻觉问题上还有待改进

参考文献

  1. 医疗保健和医学领域的大模型综述 – 斯坦福&加州大学
  2. 喜讯|柯基数据中标两个“大模型+医学”国自然面上项目
  3. 医学GraphRAG:通过知识图谱检索增强实现安全医疗大语言模型 – 牛津大学最新论文
  4. 消除幻觉的知识图谱增强医学大模型 – “Nature”NPJ数字医学杂志
  5. Almanac: 一种用于临床医学的检索增强RAG大语言模型(2023vs2024版)
  6. “大模型+知识图谱”双轮驱动的医药数智化转型新范式-OpenKG TOC专家谈
  7. 医学AI专家Anthropic CEO万字长文预测人工智能将消除癌症、人类寿命翻倍,世界变得更美好
  8. 医疗保健和医学领域的大模型综述 – 斯坦福&加州大学
  9. OpenAI o1模型的医学初步研究:我们离人工智能医生更近了吗?

  文章内容来自于网络,由百合树AI整理,如有侵权,联系删除。如需开始AI写作请返回主页。

上一篇:

下一篇:

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注