学术海报
全文总结
本文题为《A study of generative large language model for medical research and healthcare》。
原文地址 –
https://www.nature.com/articles/s41746-023-00958-w
研究背景
-
背景介绍:
这篇文章的研究背景是生成式大型语言模型（LLMs）如ChatGPT在医疗研究和医疗保健中的应用引起了广泛关注和讨论。然而，当前的假设是基于通用LLMs，这些模型并非为医疗用途而开发。 -
研究内容:
该问题的研究内容包括开发一个用于医学研究和医疗保健的生成式临床LLM，名为GatorTronGPT，并评估其在生物医学自然语言处理（NLP）和医疗文本生成中的效用。 -
文献综述:
该问题的相关工作有：现有的LLMs如ChatGPT在医疗领域的应用潜力被广泛讨论，但其设计和训练数据并不专门针对医疗用途。之前的研究主要集中在使用通用LLMs进行医疗文本分析和生成，但这些模型的性能和适用性在医疗领域尚未得到充分验证。
研究方法
这篇论文提出了开发GatorTronGPT模型。具体来说：
-
数据收集:
使用来自佛罗里达大学健康系统（UF Health）的820亿字临床文本和来自Pile数据集的1950亿字多样化英语文本。 -
模型训练:
使用GPT-3架构从零开始训练GatorTronGPT模型，参数规模达到50亿和200亿。训练过程使用了560个A100 80G GPU，训练时间分别为6天和20天。 -
任务定义:
将生物医学关系提取和问答任务形式化为统一的文本生成架构，以评估GatorTronGPT在医学研究中的潜在应用。
实验设计
-
模型架构:
GatorTronGPT采用GPT-3解码器架构，参数规模为50亿和200亿。GatorTronS模型采用BERT编码器架构，参数规模为3.45亿。 -
训练数据:
GatorTronGPT使用820亿字临床文本和1950亿字多样化英语文本进行训练。GatorTronS使用GatorTronGPT生成的200亿字合成临床文本进行训练。 -
评估指标:
使用六个生物医学NLP基准数据集评估GatorTronGPT的性能。通过Turing测试评估GatorTronGPT生成的临床文本的可读性和临床相关性。
结果与分析
-
生物医学NLP性能:
GatorTronGPT在四个生物医学NLP基准数据集上达到了最先进的性能，相较于第二好的BioGPT模型提升了3-10%。 -
合成NLP模型性能:
使用GatorTronGPT生成的合成临床文本训练的GatorTronS模型在多个基准数据集上的性能优于使用真实世界临床文本训练的GatorTron模型。 -
Turing测试结果:
在Turing测试中，GatorTronGPT生成的临床文本在语言可读性和临床相关性方面与人类医师写的文本没有显著差异，且医师无法区分两者。
结论
这篇论文展示了GatorTronGPT在生物医学NLP和医疗文本生成中的潜力。主要贡献包括：
- 开发了一个专门用于医疗领域的生成式LLM，GatorTronGPT。
- 证明了GatorTronGPT在生物医学关系提取和问答任务中的优越性能。
- 通过Turing测试验证了GatorTronGPT生成的临床文本的可读性和临床相关性。
这篇论文为生成式LLMs在医疗研究和医疗保健中的应用提供了有价值的见解，但也指出了需要进一步研究的方向，如减少文本生成的幻觉和提高模型的安全性。
思维导图
参考文献
- 哈佛医学院将生成式人工智能纳入课程和临床实践，以培训下一代医生
- 斯坦福&哈佛医学院 – MMedAgent，一个用于医疗领域的多模态医疗AI智能体
-
喜讯|柯基数据中标两个“大模型+医学”国自然面上项目 - 哈佛医学院&辉瑞推出基于知识图谱的复杂医学问答智能体MedAI
- 通过知识图谱自动生成和丰富加速医学知识发现 – 哈佛大学等
-
医疗保健和医学领域的大模型综述 – 斯坦福&加州大学 -
医学GraphRAG：通过知识图谱检索增强实现安全医疗大语言模型 – 牛津大学最新论文 -
消除幻觉的知识图谱增强医学大模型 – “Nature”NPJ数字医学杂志 -
Almanac: 一种用于临床医学的检索增强RAG大语言模型(2023vs2024版) - “大模型+知识图谱”双轮驱动的医药数智化转型新范式-OpenKG TOC专家谈
- 医学AI专家Anthropic CEO万字长文预测人工智能将消除癌症、人类寿命翻倍，世界变得更美好
- 医疗保健和医学领域的大模型综述 – 斯坦福&加州大学
- OpenAI o1模型的医学初步研究：我们离人工智能医生更近了吗？
- AI4S—使用GPT-4撰写生物医学科学综述文章的初步评估研究