GigaPath-Flash与GigaTIME-Flash：迈向高效病理学基础模型的大规模发现
GigaPath-Flash and GigaTIME-Flash: Toward population-scale discovery with efficient pathology foundation models
Microsoft Research、华盛顿大学和Providence联合发布GigaPath-Flash与GigaTIME-Flash高效病理基础模型。GigaPath-Flash采用22M参数ViT-S图像块编码器与21M参数LongNet切片编码器，计算量约为原版1/50，性能达97%。GigaTIME-Flash以ViT-S替代CNN骨干，速度约快6倍、内存约少8倍，在分布外数据上预测质量更优。两模型均以Apache 2.0许可开放权重，支持群体规模病理学分析。
一览
Flash 系列模型在 GigaPath 和 GigaTIME 的基础上大幅提升了效率，使大规模病理学研究更加可及和实用。经过蒸馏的病理基础模型骨干在不大幅牺牲性能的前提下降低了计算需求，支持在更大患者队列中进行重复分析。这些开放模型支持群体规模（population-scale）的发现，帮助研究人员在多种癌症数据集中探索疾病生物学、生物标志物和临床结局。
GigaPath（在新标签页中打开）和 GigaTIME（在新标签页中打开）展示了基础模型如何利用常规收集的病理数据支持全切片分析和肿瘤微环境建模。GigaPath-Flash 和 GigaTIME-Flash 使这些能力在效率上大幅提升，让研究人员能够分析更大的队列、运行更多实验，并迈向群体规模的发现。
GigaPath-Flash 和 GigaTIME-Flash 是研究模型，不用于诊断、预后、治疗选择或其他患者护理决策，也未经过相关验证。不同数据集、扫描仪、机构、人群和使用场景下的性能可能存在差异。
计算病理学中的规模机遇
组织病理学是癌症研究中最丰富、最广泛可用的信息源之一。每份组织活检都会生成一张全切片图像（whole-slide image），以亚细胞分辨率捕捉细胞形态——医院每年产生数百万张这样的切片。这些数据包含与诊断、预后、治疗选择和肿瘤微环境生物学相关的信息。
基础模型已开始大规模解锁这些信息。但全切片图像体积庞大——通常超过十亿像素——即使对单张切片应用基础模型，也需要处理数千个图像块（tile）。当研究问题涉及数万名患者时，计算成本会迅速增长。而群体规模的发现并非一次模型运行就能完成：它需要在患者亚组、生物标志物和临床终点之间反复进行特征提取、统计分析、假设检验和验证。
计算成本限制了研究人员能够研究的患者数量、数据集、任务和假设。要充分释放病理基础模型的潜力，我们需要能够在大规模患者群体中反复且经济地应用的模型。
从 GigaPath 和 GigaTIME 到 Flash 系列
GigaPath（Nature，2024）（在新标签页中打开）是一个全切片基础模型，基于 Providence 的大规模真实世界组织病理学数据进行预训练。与仅在图像块层面运行的模型不同，GigaPath 学习整个切片的上下文化表示，同时捕捉局部细胞模式和全局组织结构。
GigaTIME（Cell，2026）（在新标签页中打开）将该工作线扩展到肿瘤微环境。基于 4000 万个细胞、配对的 H&E 和多重免疫荧光（mIF）数据训练，GigaTIME 将常规 H&E 图像转化为覆盖 21 个蛋白通道的虚拟空间蛋白质组学图谱。应用于超过 14,000 名癌症患者后，它生成了一个虚拟人群，发现了 1,200 多个免疫细胞状态与临床生物标志物之间具有统计显著性的关联。
GigaPath 和 GigaTIME 解决了病理数据和生物学发现的规模问题。现在，Flash 系列模型解决了实验的规模问题。
图 1：GigaPath/GigaTIME 模型系列概览。GigaPath-Flash 提供 22M 参数的高效图像块和切片编码器。GigaTIME-Flash 从 H&E 预测空间蛋白质组学，用蒸馏后的 ViT-S 编码器替代 CNN 骨干。
推出 GigaPath-Flash 和 GigaTIME-Flash
Flash 系列共享一个核心设计目标：在保留有用病理表示的同时，大幅降低生成和使用这些表示所需的计算资源。两个模型都基于一个通用的高效骨干——从原始十亿参数 GigaPath 编码器蒸馏而来的紧凑 ViT-S 图像块编码器——并且都在 Apache 2.0 许可下发布。
GigaPath-Flash
GigaPath-Flash 是一个用于全切片表示学习的高效基础模型。它将 22M 参数的 ViT-S 图像块编码器与 21M 参数的 LongNet 切片编码器相结合。图像块编码器从原始 GigaPath ViT-g 教师模型蒸馏而来，将十亿参数模型的表示能力转移到小一个数量级的骨干中。切片编码器通过膨胀注意力（dilated attention）对所有图像块嵌入进行上下文化，计算量随图像块数量线性扩展。
在切片级分类基准（PANDA 前列腺分级和 EBRAINS 脑肿瘤亚型分型）上，GigaPath-Flash 在全切片预训练模型中实现了最低推理成本，同时保持了有竞争力的性能——在计算量约为原来的 1/50 的情况下，得分与原始 GigaPath 差距在 3% 以内。
图 2：全切片基准上的效率-性能权衡。GigaPath-Flash（红色，左上）以显著低于其他全切片预训练模型的计算成本实现了有竞争力的性能。
GigaTIME-Flash
GigaTIME-Flash 用 GigaPath-Flash 的 ViT-S 编码器替代了原始 GigaTIME 的 CNN 骨干，并配以轻量卷积解码器进行 H&E 到 mIF 的转换。模型使用 LoRA 适配器进行微调，预训练编码器权重基本保持冻结。
在涵盖脑、乳腺、结肠和肺癌的分布内和分布外队列中，GigaTIME-Flash 在空间蛋白预测质量上与原始 GigaTIME 相当或更优。在分布外数据上的提升尤为显著，表明基础模型骨干改善了对未见组织类型的泛化能力。
图 3：GigaTIME 和 GigaTIME-Flash 在 GigaTIME 测试集和四个分布外 Prov-TMA 队列上的平均窗口化 Pearson 相关系数。GigaTIME-Flash 在所有队列中与原始模型相当或更优。
效率提升不牺牲基础能力
Flash 模型的效率提升是显著的：
| 模型 | 类型 | 效率提升 |
|---|---|---|
| GigaPath-Flash | 全切片基础模型 | 计算量约为原来的 1/50，预测性能为 GigaPath 的 97% |
| GigaTIME-Flash | 空间蛋白质组学 | 速度约快 6 倍，内存约少 8 倍，预测性能更优 |
对于单张切片，这些差异降低了运行时间和硬件要求。对于数万张切片，它们可能决定实验是否切实可行。为便于说明，我们估算在单张 A100 GPU 上、假设每张切片约 10,000 个图像块时，在不同规模队列上生成虚拟 mIF 的墙钟时间：
| 模型 | 1,000 张切片 | 100K 张切片 | 1M 张切片 |
|---|---|---|---|
| GigaTIME-Flash | 约 2 GPU 小时 | 约 7 GPU 天 | 约 70 GPU 天 |
| GigaTIME | 约 7 GPU 小时 | 约 30 GPU 天 | 约 300 GPU 天 |
估算假设每张切片约 10,000 个图像块、批大小 128、单张 NVIDIA A100 GPU。实际运行时间取决于切片大小、图像块分辨率和硬件。
图 4：GigaTIME 效率扩展。左：吞吐量（图像块/秒）与批大小的关系。右：峰值 GPU 内存（GB）与批大小的关系。GigaTIME-Flash 可扩展到 1,600 图像块/秒以上，同时仅使用一小部分内存。
开放模型发布
GigaPath-Flash 和 GigaTIME-Flash 均以 Apache 2.0 许可发布为开放权重模型。模型权重和代码可在 HuggingFace 上获取：
- GigaPath-Flash（在新标签页中打开）
- GigaTIME-Flash（在新标签页中打开）
GigaPath-Flash 和 GigaTIME-Flash：面向全切片和肿瘤微环境分析的高效病理基础模型
这是早期研究版本。我们目前的评估覆盖有限的基准和队列，仍需在更多任务、扫描仪和患者群体中进行更广泛的验证。我们预计这些模型最有价值的应用将超出我们初始实验所涉及的科学问题、队列和使用场景。我们欢迎社区评估，也同样关注这些模型表现良好和不足之处的报告。下游临床应用将需要额外的多机构和前瞻性验证。
焦点：AI 驱动体验
Microsoft research copilot experience
通过我们的 AI 驱动体验，了解更多关于 Microsoft 的研究成果
立即开始（在新标签页中打开）
效率作为发现的推动力
GigaPath 和 GigaTIME 展示了病理基础模型能从全切片和肿瘤组织中学习到什么。GigaPath-Flash 和 GigaTIME-Flash 是朝着让这些能力在更大群体、更多实验和更广泛研究社区中可用的方向迈出的一步。通过提高病理基础模型的效率，我们希望扩展研究人员能够提出的科学问题的规模。
致谢
GigaPath-Flash 和 GigaTIME-Flash 是 Microsoft Research、华盛顿大学和 Providence 的联合工作。技术细节请参见论文。
论文共同作者：Naoto Usuyama, Jeya Maria Jose Valanarasu, Sicong Yao, Hanwen Xu, Jaspreet Bagga, Guanghui Qin, Robert E. Kramer, Cliff Wong, Soohee Lee, Hao Qiu, Theodore Zhengde Zhao, Racheli Ben Shimol, Angela Crabtree, Kevin Matlock, Eduardo Alejandro Lozano Garcia, Naiteek Sangani, Alberto Santamaria-Pang, Maximilian Rokuss, Yashna Hasija, Naisargi Manishkumar Patel, Jason Entenmann, Alexandra Q. Bartlett, Bill J. Wright, Bernard A. Fox, Brian Piening, Sheng Zhang, Sheng Wang, Tristan Naumann, Carlo Bifulco, Hoifung Poon（在新标签页中打开）
原文《GigaPath-Flash and GigaTIME-Flash: Toward population-scale discovery with efficient pathology foundation models》首发于 Microsoft Research。