西部数码网站工具,普通网站和营销型网站的区别,网站建设毕业答辩ppt,网站系统分析报告DR.KNOWS#xff1a;医疗图谱UMLS 图神经网络 LLM 模拟医生的诊断推理过程, 从症状出发找到可能的诊断结果 理解要点解法拆解全流程分析图神经网络的训练论文大纲核心模式真实应用中#xff0c;为什么说俩跳推理过于简化#xff1f; 论文#xff1a;Leveraging A Medical… DR.KNOWS医疗图谱UMLS 图神经网络 LLM 模拟医生的诊断推理过程, 从症状出发找到可能的诊断结果 理解要点解法拆解全流程分析图神经网络的训练论文大纲核心模式真实应用中为什么说俩跳推理过于简化 论文Leveraging A Medical Knowledge Graph into Large Language Models for Diagnosis Prediction
理解要点 背景与问题 具体问题电子健康记录(EHR)中的临床叙述过于复杂冗长导致医护人员认知超负荷可能造成诊断错误。 医生经常跳过冗长重复的内容依赖启发式决策增加了诊断错误的风险。 概念性质 DR.KNOWS是一个结合医学知识图谱和大模型的新方法性质通过知识图谱增强LLM在自动诊断生成方面的能力原因需要确保诊断准确性,减少错误,防止患者伤害 正反例对比 正例ChatGPTPath能正确预测败血症诊断,因为它利用了知识图谱中血液和其他症状的关联 反例普通T5模型容易生成与诊断和疾病无关的概念,准确率较低 类比理解 DR.KNOWS就像一个有经验的医生助手:
知识图谱相当于医生的专业知识储备大语言模型相当于医生的推理能力两者结合能更准确地做出诊断 概念总结 DR.KNOWS是一个将医学知识图谱(KG)整合到大模型(LLMs)中的创新方法,通过知识图谱辅助解释和总结复杂医学概念,提高自动诊断的准确性。 概念重组 DR.KNOWS可以理解为诊断推理知识图谱系统,体现了诊断(D)、推理®和知识(KNOWS)的核心要素。 上下文关联 文章论证了在诊断生成任务中,结合知识图谱的方法比单纯使用语言模型效果更好,支持了论文的主要论点。 主要矛盾 大语言模型在医疗领域应用时的准确性与可靠性问题。 功能分析 核心功能是提高自动诊断的准确性和可解释性。
通过以下方式实现
利用知识图谱提供医学专业知识结合语言模型的推理能力提供可解释的诊断路径
梳理脉络 研究背景→提出问题→提出DR.KNOWS解决方案→实验验证→得出结论,论证了结合知识图谱可以提升大语言模型在医疗诊断领域的表现。 主要贡献
提出了新的图模型 DR.KNOWS (诊断推理知识图谱)
利用 UMLS 医疗知识图谱识别可能的诊断使用多跳路径选择找到相关的诊断路径提供可解释的诊断推理过程
与大语言模型(LLM)的集成方法
将知识路径作为提示词用于微调的 T5 模型和零样本 ChatGPT相比基准方法展示了更好的性能通过诊断路径保持可解释性
主要结果
DR.KNOWS 相比基准方法获得了更高的精确率和 F1 分数加入路径信息的 T5 模型表现更好 最佳 ROUGE-L 分数30.72 (VanillaT5 路径)最佳 CUI F1分数27.78 (VanillaT5 路径) ChatGPT 有效地利用知识路径进行诊断推理
局限性
依赖于电子健康记录数据和 UMLS 知识图谱的质量仅限于单一带注释的电子健康记录数据集缺乏与其他类型临床数据的整合需要专家评估和更广泛的临床验证
这种方法在改进自动诊断生成的同时通过知识图谱结构保持了可解释性显示出了良好的前景。
通过图路径集成领域知识有助于引导大语言模型输出更准确和合理的诊断预测。
解法拆解
逻辑关系拆解
目的提高医疗诊断的准确性和可解释性
问题现有的大语言模型在医疗诊断中缺乏专业知识支撑和推理过程不透明
解法结合知识图谱增强大语言模型的诊断能力DR.KNOWS方法
子解法拆解 知识图构建因为需要专业医学知识支持 利用UMLS构建医学知识图谱之所以用UMLS是因为它是标准化的医学术语系统 路径选择因为需要找到诊断相关的知识 多跳路径搜索路径相关性评分之所以用多跳路径是因为诊断推理需要多步连接才能得出结论 模型融合因为需要将专业知识注入语言模型 路径作为提示词模型fine-tuning或零样本学习之所以用提示词方式是因为这样可以保持模型结构不变同时引入外部知识
例子 对于发烧、咳嗽、肺部感染的病例 知识图谱提供症状-疾病关联 路径选择找出最相关的诊断路径 将路径作为提示词指导大模型生成诊断 逻辑链分析
这是一个决策树网络
输入病例
├── 提取关键概念
│ ├── 症状
│ ├── 检查结果
│ └── 现有诊断
├── 知识图谱搜索
│ ├── 一跳邻居节点
│ └── 多跳路径
└── 语言模型生成├── 路径集成└── 诊断生成隐性特征分析
发现的隐性特征包括
医生诊断思维过程解法模拟了医生从症状到诊断的推理过程知识关联强度不同路径之间的权重反映了知识的重要性诊断可靠性通过多个路径的交叉验证来提高可靠性 潜在局限性 数据依赖性 依赖UMLS知识质量依赖训练数据完整性 计算复杂度 多跳路径搜索计算量大实时性可能受限 通用性限制 可能难以处理罕见病例对新出现的疾病适应性有限 验证挑战 缺乏大规模临床验证需要专家评估体系
全流程分析 处理流程
概念抽取从病历中提取医学概念和CUI图推理构建子图并进行多跳路径搜索路径排序选择最相关的诊断路径提示增强将路径融入LLM提示模板
案例背景: 一名55岁男性患者有房颤和心肌病病史目前出现呼吸困难和水肿症状来就医。
系统诊断流程:
输入处理阶段
系统接收医生记录的病历文本(包含主诉、体征等信息)使用医疗概念提取器(如cTAKES)从文本中识别关键医疗概念将识别出的概念转换为标准化的医疗术语代码(CUI编码)
知识图谱推理阶段 (DR.KNOWS模型)
系统在UMLS医学知识图谱中定位这些概念节点通过图神经网络分析概念之间的关联关系系统识别出关键路径: 房颤 → 心力衰竭心肌病 → 心力衰竭水肿 → 充血性心力衰竭
诊断生成阶段
系统将发现的医学知识路径提供给大语言模型(如ChatGPT)大语言模型结合病历内容和知识路径生成诊断结论: 主要诊断:阵发性房颤并发症:心力衰竭、脑病解释:基于患者病史和当前症状,结合知识图谱显示房颤和心肌病都可导致心力衰竭
诊断解释
系统提供诊断推理过程的详细说明指出症状与诊断之间的关联性解释为什么得出这些诊断结论
这个系统的创新点在于:
结合了结构化的医学知识(知识图谱)和非结构化的临床推理(大语言模型)提供可解释的诊断路径,增加了系统的可信度可以发现一些隐含的诊断关系,协助医生进行更全面的诊断
这种方法模拟了临床医生的诊断思维过程: 收集信息→调用专业知识→分析关联→形成诊断为智能辅助诊断系统提供了一个新的范式。
图神经网络的训练
网络架构设计
使用 Stack Graph Isomorphism Network (SGIN)作为基础架构输入层使用 SapBERT 预训练模型编码医疗概念中间层多层图同构网络进行消息传递输出层Path Encoder和Path Ranker 两个组件
训练数据准备
正样本来自标注好的医疗记录中的诊断概念对从 UMLS 知识图谱中提取这些概念之间的路径负样本随机采样的无关联的概念对使用 TF-IDF 对不同类型的医疗概念进行加权
训练目标 主要包含两部分损失函数
预测损失(LPred)使用二元交叉熵损失预测诊断概念对比学习损失(LCL)让相关的概念表示更接近无关的更远离
训练过程
输入医疗文本和UMLS知识图谱
for each epoch:1. 提取文本中的源概念2. 更新节点表示(使用图神经网络)3. 生成路径嵌入4. 使用MultiAttn或TriAttn对路径进行排序5. 计算损失并更新模型参数关键训练参数
学习率1e-5训练轮数10轮批次大小可变(根据GPU内存)早停策略3轮无改善则停止
特别注意点
不需要预训练整个图谱采用动态子图方式训练每次只处理相关的子图使用节点权重机制处理不同类型医疗概念的重要性
评估指标
RecallN在N个预测中找到正确诊断的比例PrecisionN预测正确的诊断占总预测的比例F-score综合准确率和召回率
这个训练过程的创新点在于
结合了知识图谱的结构信息和语言模型的语义信息使用对比学习提升模型对相似诊断概念的识别能力通过注意力机制筛选最相关的诊断路径
训练成本和资源需求
GPU建议使用至少16GB显存的GPU数据集规模MIMIC-III(600训练样本)或IN-HOUSE(3885训练样本)训练时间根据数据规模几小时到几天不等
这种训练方法的优势是它不需要对整个医学知识图谱进行训练而是针对性地学习诊断相关的路径这大大提高了训练效率和模型实用性。
论文大纲
├── 1. 研究背景和动机【问题背景】
│ ├── EHR系统应用广泛【现状】
│ │ ├── 提供全面的患者健康记录【功能】
│ │ └── 记录诊断和治疗计划【功能】
│ └── 当前挑战【问题】
│ ├── EHR叙述冗长复杂【具体问题】
│ └── 医生认知负担重【影响】
│
├── 2. DR.KNOWS模型【技术方案】
│ ├── 知识图谱集成【核心组件】
│ │ ├── 基于UMLS医学知识库【数据来源】
│ │ └── 包含450万概念和1500万关系【规模】
│ └── 模型架构【技术细节】
│ ├── 图神经网络编码【处理方法】
│ ├── 路径编码器【处理方法】
│ └── 路径排序模块【处理方法】
│
├── 3. 实验评估【验证方案】
│ ├── 数据集【评估数据】
│ │ ├── MIMIC-III数据集【公开数据】
│ │ └── IN-HOUSE EHR数据集【私有数据】
│ └── 评估指标【评估方法】
│ ├── ROUGE评分【指标】
│ └── CUI F-score【指标】
│
└── 4. 研究贡献【研究价值】
├── 提供可解释的诊断路径【创新点】
├── 改进诊断准确性【性能提升】
└── 支持AI辅助诊断决策【应用价值】方法部分
├── 1. 输入层【数据接收】
│ ├── 患者文本描述【原始输入】
│ │ ├── SapBERT编码【文本表示】
│ │ └── UMLS概念提取【概念识别】
│ └── UMLS知识图谱【知识源】
│ ├── 概念节点【图结构】
│ └── 语义关系【图结构】
│
├── 2. 图神经网络编码【特征学习】
│ ├── Stack-GIN架构【网络结构】
│ │ ├── 多层GIN叠加【层次处理】
│ │ └── 非线性变换【特征转换】
│ ├── 节点表示更新【计算过程】
│ │ ├── 邻域聚合【信息融合】
│ │ └── TF-IDF权重【重要性加权】
│ └── 输出表示【结果】
│ └── 上下文化节点嵌入【特征表示】
│
├── 3. 路径编码器【路径生成】
│ ├── Transformer架构【编码器】
│ │ ├── 多头注意力【关注机制】
│ │ └── 前馈网络【特征变换】
│ ├── 路径表示生成【处理过程】
│ │ ├── 路径序列编码【序列处理】
│ │ └── FFN变换【特征整合】
│ └── n-hop路径【输出】
│ └── 路径嵌入向量【特征表示】
│
└── 4. 路径排序模块【决策层】
├── 注意力机制【排序方法】
│ ├── MultiAttn【多头注意力】
│ └── TriAttn【三线性注意力】
├── 相关性计算【评分过程】
│ ├── 上下文相关矩阵【文本相关】
│ └── 概念相关矩阵【概念相关】
└── 输出结果【最终输出】
├── Top-N路径分数【排序结果】
└── 诊断预测【预测结果】首先接收文本输入并通过SapBERT进行编码同时从UMLS提取相关概念
通过 Stack-GIN 进行图结构学习获取节点的上下文表示
使用 Transformer 架构的路径编码器生成路径表示
最后通过两种注意力机制 (MultiAttn/TriAttn) 对路径进行排序和筛选 这张图展示了一个 UMLS(统一医学语言系统)知识图谱, 它通过语义关系帮助诊断, 从症状到潜在诊断需要两个跳转或步骤。
初始患者描述:
47岁女性出现的症状:发烧、咳嗽和败血症
第一跳分析(第一层连接): 从核心症状出发:
发烧连接到: 传染性疾病新生儿发热发热性咳嗽 咳嗽连接到: 呼吸道咳嗽后呕吐 败血症连接到: 败血症相关的胃肠道出血传染性疾病
第二跳分析(第二层连接): 图谱显示两个最终可能的诊断:
肺炎和流感(通过传染性疾病连接)呼吸窘迫综合征(通过呼吸道连接)
关系类型: 图谱使用了几种语义关系:
“是一种”(Is a)“具有病理过程”(Has pathological process)“具有发现部位”(Has finding site)“时序跟随”(Temporally follows)“发生在…之后”(Occurs after)
视觉编码:
顶点颜色越深表示与输入描述的相关性越高路径显示了从症状到诊断的逻辑进展图中省略了女性的子图以节省空间
这个知识图谱有效地展示了医学诊断推理如何能被模型化为相关概念的网络,每个跳转代表从症状到潜在诊断的一个推理层级。
它对理解多个症状如何收敛指向特定医疗状况特别有帮助。 这是 Dr.KNOWs 的医疗诊断模型的架构图:
输入处理阶段:
从顶部可以看到输入信息是47岁女性,有发烧、咳嗽和败血症这个输入会被处理成两种形式: 文本编码: 通过 SapBERT 模型进行处理概念编码: 将症状转换为标准医学概念编号(CUIs) 例如 “C0243026”, “C0015967” 等唯一标识符
图模型组件(Graph Model Components): 包含三个主要部分:
图神经网络(Graph Neural Network): 处理和分析医学概念之间的关系路径编码器(Path Encoder): 编码可能的诊断路径路径排序器(Path Ranker): 对不同的诊断路径进行评分和排序
输出:
系统会输出评分最高的 N 个医学概念(Top N Scored CUIs)这些概念代表最可能的诊断结果
工作原理:
从起始医学概念(Starting CUIs)开始通过提取子图(Extract Subgraphs)来分析相关的医学概念关系使用神经网络处理这些关系为可能的诊断路径评分生成新的起始点进行下一跳分析
这个系统的创新之处在于它结合了自然语言处理(通过 SapBERT)和图形网络分析, 能够模拟医生的诊断推理过程, 从症状出发找到可能的诊断结果。 核心模式
核心模式症状→诊断的自动化推理过程
基本结构:
输入病人症状描述处理知识图谱推理输出可能的诊断结果
创新点两跳推理机制
第一跳从初始症状找到相关概念第二跳基于相关性最高的节点推导最终诊断示例发烧咳嗽败血症 → 传染病 → 肺炎/流感
实现方法DR.KNOWS模型
症状描述 → SapBERT编码
↓
知识图谱分析(Graph Neural Network)
↓
路径评分(Path Ranker)
↓
输出诊断验证效果
在公开数据集上优于基准模型ChatGPT结合路径提示效果更好提供可解释的诊断路径
压缩后发现的核心规律
医生诊断本质是多跳推理过程知识图谱能模拟专家推理路径大模型知识图谱优于单独使用
这个系统的创新在于将复杂的医疗诊断过程简化为两跳推理模型既保留了专业知识又实现了自动化。 真实应用中为什么说俩跳推理过于简化
5WHY分析
WHY 1: 为什么说两跳推理过于简化
因为真实的医疗诊断过程通常涉及多层次、多维度的复杂推理链
WHY 2: 为什么需要多层次、多维度推理
因为疾病的发展和表现是动态的症状之间存在复杂的交互关系和时序关系
WHY 3: 为什么症状之间的关系如此复杂
因为人体是一个复杂的系统一个器官的问题可能影响多个系统产生连锁反应
WHY 4: 为什么连锁反应难以用两跳推理捕捉
因为两跳推理假设了线性的因果关系而忽视了症状的循环影响和反馈机制
WHY 5: 为什么需要考虑循环影响和反馈机制
因为这反映了真实医学诊断中的系统性思维医生需要综合考虑多个因素的动态平衡
5SO分析
SO 1: 如何改进当前系统
引入多跳动态推理机制允许系统进行更深层次的推理
SO 2: 这种改进会带来什么
系统能够处理更复杂的病例捕捉症状间的动态关系和反馈循环
SO 3: 对整个系统有什么影响
需要重新设计知识图谱结构加入时序信息和反馈机制可能增加计算复杂度
SO 4: 进一步的影响是什么
系统变得更复杂但更接近真实诊断过程需要更多计算资源和训练数据
SO 5: 最终目标是什么
建立一个能模拟医生系统性思维的智能辅助诊断系统平衡准确性和实用性 需要从简单线性推理向复杂系统思维转变才能更好地服务于实际医疗诊断。
多维度信息整合系统
临床表现维度症状、体征、实验室检查等时间维度疾病发展过程、治疗反应个体特征维度年龄、性别、基础疾病、用药史等环境维度流行病学、地域特点等
动态推理机制
设计反馈闭环根据新信息不断调整诊断假设引入不确定性处理机制对多个诊断假设同时进行评估加入临床决策点在关键节点进行诊断重评估
经验学习系统
构建类似医生经验积累的案例库设计相似病例检索和对比机制从历史诊疗过程中学习诊断策略
系统性思维模块
器官系统间的相互影响分析并发症预测和风险评估治疗方案对多系统的影响评估
整体性评估机制
不仅关注单个症状更要评估患者整体状态考虑心理社会因素的影响评估治疗的可行性和患者依从性
决策解释系统
提供诊断推理的完整思路解释各种因素的权重考量说明排除诊断的理由
这样的系统应该是一个多层次、动态演化的复杂系统而不是简单的线性推理。
它需要能够
处理不完整和不确定的信息整合多源异构数据动态调整推理策略提供可解释的决策过程
这种设计更接近医生的专业思维方式但实现难度也会更大。
