CNDBA社区
Lingshu（灵枢）大模型详细说明
Lingshu（灵枢）是阿里巴巴达摩院于2025年6月开源的医疗多模态大模型，主打12+医学影像模态统一理解，提供7B/32B两个版本，开源协议为Apache 2.0（可商用）。
一、核心基础信息
| 参数项 | 详情 |
|---|---|
| 模型全称 | Lingshu（灵枢） |
| 研发机构 | 阿里巴巴达摩院（DAMO Academy） |
| 开源时间 | 2025年6月（权重与代码同步开源） |
| 开源协议 | Apache 2.0（可商用） |
| 模型版本与参数 | Lingshu-7B（70亿参数，基础版，轻量高效）；Lingshu-32B（320亿参数，旗舰版，性能更强） |
二、核心技术架构
- 统一多模态框架：同一套权重支持12+医学影像模态（X光、CT、MRI、超声、病理、眼底、内镜、PET等）。
- 三粒度任务统一：整图分类、区域定位、像素分割，无需任务特化头。
- 分层跨模态对齐（HVL-Adapter）：将ViT的全局/区域/细粒度token注入LLM不同层，实现早融合与深融合。
- Med-KD²双循环课程学习：按“模态-解剖-病理”难度渐进训练，动态加权图文对齐、知识推理与幻觉抑制。
- Med-Safe幻觉抑制：推理阶段用PubMedBERT做实体NER+知识库对齐，幻觉率降至4.1%。
三、医学影像模态与病种分析维度（全支持）
Lingshu对各模态覆盖核心病种，提供定位、测量、特征描述、风险评估、报告生成全维度分析，以下为全支持模态及对应病种、分析维度说明：
| 影像模态 | 核心支持病种 | 关键分析维度 |
|---|---|---|
| 胸部X光（X-Ray） | 肺结节、肺炎、肺结核、肋骨骨折、胸腔积液、气胸、心脏扩大、纵隔增宽 | 1. 定位：肺叶/肺段/肋骨位置标注；2. 测量：病灶大小、密度、胸腔积液量；3. 特征：渗出/实变/结节形态、边缘；4. 风险：恶性概率、肺炎严重程度；5. 报告：结构化放射学报告（发现+印象） |
| 胸部CT | 肺结节（早筛核心）、肺炎（新冠/普通）、肺结核、肋骨骨折、冠脉钙化、主动脉夹层、肺癌、食管癌、脂肪肝、胰腺癌、结直肠癌、淋巴结肿大 | 1. 定位：肺叶/肺段/血管/器官位置；2. 测量：结节大小/体积/CT值、钙化积分、血管直径；3. 特征：结节密度（实性/磨玻璃/混合）、边缘、钙化；4. 风险：恶性概率、纤维化分期、心血管事件概率；5. 报告：多器官结构化报告、时序对比分析 |
| 腹部CT | 脂肪肝、肝癌、胰腺癌、结直肠癌、胃癌、胆囊结石、肾结石、胰腺炎、肠梗阻 | 1. 定位：肝/胰/胃/肠等器官分区；2. 测量：病灶大小、密度、器官体积；3. 特征：肿瘤形态、边界、强化方式；4. 风险：恶性分级、并发症概率；5. 报告：器官功能评估+病变诊断报告 |
| 头部MRI | 脑肿瘤、脑梗死、脑出血、多发性硬化、阿尔茨海默病、脊髓病变 | 1. 定位：脑叶/海马体/脊髓节段；2. 测量：病灶体积、水肿范围；3. 特征：T1/T2/FLAIR信号、强化模式；4. 风险：病变进展概率、功能损伤程度；5. 报告：神经功能评估报告 |
| 超声（Ultrasound） | 甲状腺结节、乳腺结节、肝癌、胆囊结石、肾结石、子宫肌瘤、卵巢囊肿、心脏瓣膜病 | 1. 定位：器官分区/病灶位置；2. 测量：结节大小/血流速度/瓣膜口径；3. 特征：回声强度、边界、血流分布；4. 风险：TI-RADS/BI-RADS分级；5. 报告：器官功能+病变评估报告 |
| 组织病理（Histopathology） | 乳腺癌、肺癌、结直肠癌、胃癌、肝癌、皮肤癌、前列腺癌 | 1. 定位：病灶区域/细胞类型；2. 测量：病灶面积、细胞密度；3. 特征：组织形态、细胞核异型性、浸润范围；4. 风险：肿瘤分期、转移概率；5. 报告：病理诊断报告（含免疫组化解读） |
| 眼底（Fundus） | 糖尿病视网膜病变、黄斑变性、青光眼、视网膜脱离、视神经病变 | 1. 定位：黄斑/视乳头/血管分支；2. 测量：出血/渗出面积、杯盘比；3. 特征：血管形态、黄斑形态、渗出性质；4. 风险：病变分期、致盲概率；5. 报告：眼底病变评估报告 |
| 内镜（Endoscopy） | 胃溃疡、胃癌、食管癌、结肠息肉、结直肠癌、食管炎 | 1. 定位：消化道分段/病灶位置；2. 测量：病灶大小、溃疡深度；3. 特征：黏膜形态、溃疡边缘、息肉性质；4. 风险：恶性概率、出血风险；5. 报告：内镜诊断报告 |
| PET（正电子发射断层扫描） | 肿瘤分期、转移灶检测、心肌存活评估、炎症定位 | 1. 定位：器官/病灶/淋巴结；2. 测量：SUV值、病灶代谢活性；3. 特征：代谢摄取模式、转移灶分布；4. 风险：肿瘤分期、转移概率；5. 报告：肿瘤分期+代谢评估报告 |
| 皮肤镜（Dermoscopy） | 黑色素瘤、基底细胞癌、银屑病、湿疹、痤疮 | 1. 定位：病灶区域；2. 测量：病灶大小、血管密度；3. 特征：色素网络、血管形态、鳞屑类型；4. 风险：恶性概率、疾病分期；5. 报告：皮肤病变诊断报告 |
| OCT（光学相干断层扫描） | 黄斑裂孔、视网膜静脉阻塞、角膜病变、青光眼 | 1. 定位：视网膜分层/角膜层次；2. 测量：层厚、裂孔大小；3. 特征：组织形态、反射强度、血管密度；4. 风险：病变进展概率、视力损伤程度；5. 报告：眼部结构评估报告 |
| 数字摄影 | 皮肤病、骨折、伤口愈合、口腔病变 | 1. 定位：病灶/骨折部位；2. 测量：病灶大小、骨折移位程度；3. 特征：皮肤形态、骨折线、伤口愈合情况；4. 风险：骨折稳定性、感染概率；5. 报告：临床影像评估报告 |
四、核心能力
- 多模态医学影像理解：覆盖12+模态，支持病灶检测、器官分割、病变分级，适配3D容积影像与时序对比。
- 医疗视觉问答（VQA）：基于影像+文本多轮问答，支持中文医疗术语与临床逻辑推理。
- 结构化报告生成：自动生成符合临床规范的影像诊断报告，在IU-Xray等数据集指标领先。
- 医学文本理解：支持MedQA、PubMedQA、USMLE等医疗文本问答，融合临床指南与知识库。
五、性能表现
- Lingshu-32B在多数医疗多模态/文本问答与报告生成任务上超越GPT-4.1与Claude Sonnet 4。
- 在MedBench、MIMIC-CXR等权威医疗基准上SOTA。
- 报告生成任务中，IU-Xray指标较同类模型提升近两倍。
六、开源资源与适用场景
- 官方主页：https://alibaba-damo-academy.github.io/lingshu/
- Hugging Face：https://huggingface.co/lingshu-medical-mllm
- 配套工具：MedEvalKit（统一医疗多模态评估框架）
- 适用场景：临床辅助诊断（影像初筛、报告批注）、医学教育与培训、医疗科研、医疗SaaS/PACS系统集成。
