WSInfer 多实例学习（MIL）

WSInfer-MIL 是一个命令行工具，用于在全切片图像上运行预训练的MIL模型。它是WSInfer的切片级伴侣，WSInfer提供了补丁级分类。

安装

可以使用 pip 安装 WSInfer-MIL。如果未安装，WSInfer-MIL 会自动安装 PyTorch，但这可能不会安装带有GPU支持的 PyTorch，即使有GPU可用。因此，在安装 WSInfer-MIL 之前请先安装 PyTorch。

首先安装 PyTorch

请参阅PyTorch的安装说明以获取安装PyTorch的帮助。安装说明根据您的操作系统和选择的pip或conda而有所不同。幸运的是，PyTorch提供的说明还安装了适当的CUDA版本。我们避免包含安装命令的代码示例，因为这些命令可能会随时间而改变。请参阅PyTorch的安装说明以获取最新的说明。

您需要一个适合您NVIDIA GPU的最新驱动程序。请参阅此版本兼容性表，了解不同CUDA版本所需的最低版本。

要测试PyTorch是否可以检测到您的GPU，请确保此代码片段打印出True。

python -c 'import torch; print(torch.cuda.is_available())'

使用pip安装WSInfer-MIL

pip install wsinfer-mil

示例

使用在线模型

Jakub Kaczmarzyk已将几个预训练的MIL模型上传到HuggingFace供社区探索。随着时间的推移，我希望（Jakub）其他人也能贡献MIL模型。如果您对此感兴趣，请随时通过电子邮件jakub.kaczmarzyk at stonybrookmedicine dot edu联系我。

模型可在https://hugging-face.cn/kaczmarj找到

TP53突变预测

wsinfer-mil run -m kaczmarj/pancancer-tp53-mut.tcga -i slide.svs

癌症组织分类

wsinfer-mil run -m kaczmarj/pancancer-tissue-classifier.tcga -i slide.svs

腋窝淋巴结转移预测

wsinfer-mil run -m kaczmarj/breast-lymph-nodes-metastasis.camelyon16 -i slide.svs

GBM-LGG生存预测

wsinfer-mil run -m kaczmarj/gbmlgg-survival-porpoise.tcga -i slide.svs

肾肾乳头状细胞癌生存预测

wsinfer-mil run -m kaczmarj/kirp-survival-porpoise.tcga -i slide.svs

使用本地（可能为私有）模型

您可以使用WSInfer-MIL与本地MIL模型一起使用。模型必须保存为TorchScript格式，并且还需要编写一个模型配置文件。

以下是一个配置JSON文件的示例

{
    "spec_version": "1.0",
    "type": "abmil",
    "patch_size_um": 128,
    "feature_extractor": "ctranspath",
    "num_classes": 2,
    "class_names": [
        "wildtype",
        "mutant"
    ]
}

在wsinfer_mil/schemas/model-config.schema.json中有一个JSON模式供参考。

一旦您有了TorchScript格式的模型和配置JSON文件，您就可以在幻灯片上运行该模型。例如

wsinfer-mil runlocal -m model.pt -c model.config.json \
    -i slides/TCGA-3L-AA1B-01Z-00-DX1.8923A151-A690-40B7-9E5A-FCBEDFC2394F.svs

从30,000英尺高空看它是如何工作的

基于注意力的MIL方法的流程相当标准化。以下是WSInfer-MIL采取的步骤。未来，我们希望纳入基于图的方法进行推理，因此此工作流程可能需要修改。

1. 在图像中分割组织。
2. 创建组织区域的补丁。
3. 在这些补丁上运行特征提取器。
4. 在提取的特征上运行预训练模型。
5. 保存提取特征的结果。

WSInfer-MIL缓存步骤1、2和3，因为它们可以在MIL模型之间重用。步骤3（特征提取）通常是工作流程的瓶颈，重用提取的特征可以大大减少运行时间。

开发者

克隆和安装wsinfer-mil

克隆存储库并为它创建一个虚拟环境。然后安装依赖项，并使用dev额外功能。

pip install -e .[dev]

配置pre-commit在提交发生之前运行格式化程序。

pre-commit install