d3m-segmentation-models-pytorch 0.1.3

该库的主要特性包括

• 高级API（仅两行即可创建神经网络）
• 8种模型架构用于二值和多类分割（包括传奇的Unet）
• 99种可用的编码器
• 所有编码器都有预训练的权重，以实现更快和更好的收敛

📚 项目文档 📚

访问Read The Docs项目页面或阅读以下README以了解更多关于Segmentation Models Pytorch（简称SMP）库的信息

📋 目录

1. 快速入门
2. 示例
3. 模型
   1. 架构
   2. 编码器
4. 模型API
   1. 输入通道
   2. 辅助分类输出
   3. 深度
5. 安装
6. 使用该库赢得的竞赛
7. 贡献
8. 引用
9. 许可证

⏳ 快速入门

1. 使用SMP创建您的第一个分割模型

分割模型只是一个PyTorch nn.Module，它可以像下面这样轻松创建

import segmentation_models_pytorch as smp

model = smp.Unet(
    encoder_name="resnet34",        # choose encoder, e.g. mobilenet_v2 or efficientnet-b7
    encoder_weights="imagenet",     # use `imagenet` pretreined weights for encoder initialization
    in_channels=1,                  # model input channels (1 for grayscale images, 3 for RGB, etc.)
    classes=3,                      # model output channels (number of classes in your dataset)
)

• 查看表格，了解可用的模型架构
• 查看表格，了解可用的编码器及其相应的权重

2. 配置数据预处理

所有编码器都有预训练的权重。与权重预训练期间相同的方式准备您的数据可能会给您带来更好的结果（更高的指标得分和更快的收敛）。但这只适用于1-2-3通道图像，并且对于您训练整个模型（而不仅仅是解码器），通常是不必要的。

from segmentation_models_pytorch.encoders import get_preprocessing_fn

preprocess_input = get_preprocessing_fn('resnet18', pretrained='imagenet')

恭喜！您已完成！现在您可以使用您喜欢的框架训练您的模型了！

💡 示例

• 在CamVid数据集上训练汽车分割模型这里。
• 使用Catalyst（PyTorch的高级框架）、Catalyst、TTAch（PyTorch的TTA库）和Albumentations（快速图像增强库）训练SMP模型 - 这里

📦 模型

架构

• Unet [论文] [文档]
• Unet++ [论文] [文档]
• Linknet [论文] [文档]
• FPN [论文] [文档]
• PSPNet [论文] [文档]
• PAN [论文] [文档]
• DeepLabV3 [论文] [文档]
• DeepLabV3+ [论文] [文档]

编码器

以下是在SMP中支持的编码器列表。选择适当的编码器系列，点击展开表格并选择特定的编码器和其预训练权重（encoder_name 和 encoder_weights 参数）。

* ssl, swsl - 在ImageNet上的半监督和弱监督学习 (repo).

🔁 模型API

• model.encoder - 预训练骨干网络，用于提取不同空间分辨率的特征
• model.decoder - 根据模型架构（Unet/Linknet/PSPNet/FPN）而定
• model.segmentation_head - 最后的块，用于生成所需数量的掩码通道（包括可选的上采样和激活）
• model.classification_head - 可选的块，在编码器顶部创建分类头
• model.forward(x) - 依次将x通过模型的编码器、解码器和分割头（以及指定的分类头）

输入通道

输入通道参数允许您创建处理具有任意数量通道的张量的模型。如果您使用从imagenet预训练的权重，则第一个卷积层的权重将被重用于1或2个通道的输入，对于输入通道>4，第一个卷积层的权重将被随机初始化。

model = smp.FPN('resnet34', in_channels=1)
mask = model(torch.ones([1, 1, 64, 64]))

辅助分类输出

所有模型都支持aux_params参数，默认设置为None。如果aux_params = None，则不创建分类辅助输出，否则模型将不仅生成mask输出，还生成形状为NC的label输出。分类头由GlobalPooling->Dropout（可选）->Linear->Activation（可选）层组成，可以通过aux_params进行如下配置

aux_params=dict(
    pooling='avg',             # one of 'avg', 'max'
    dropout=0.5,               # dropout ratio, default is None
    activation='sigmoid',      # activation function, default is None
    classes=4,                 # define number of output labels
)
model = smp.Unet('resnet34', classes=4, aux_params=aux_params)
mask, label = model(x)

深度

深度参数指定编码器中下采样操作的数量，因此您可以通过指定较小的depth来使模型变轻。

model = smp.Unet('resnet34', encoder_depth=4)

🛠️ 安装

PyPI版本

$ pip install segmentation-models-pytorch

从源码获取的最新版本

$ pip install git+https://github.com/qubvel/segmentation_models.pytorch

🏆 该库赢得的竞赛

Segmentation Models 包在图像分割竞赛中得到广泛应用。 在这里 您可以找到竞赛、获胜者的名字和他们的解决方案的链接。

🤝 贡献

运行测试

$ docker build -f docker/Dockerfile.dev -t smp:dev . && docker run --rm smp:dev pytest -p no:cacheprovider

生成表格

$ docker build -f docker/Dockerfile.dev -t smp:dev . && docker run --rm smp:dev python misc/generate_table.py

📝 引用

@misc{Yakubovskiy:2019,
  Author = {Pavel Yakubovskiy},
  Title = {Segmentation Models Pytorch},
  Year = {2020},
  Publisher = {GitHub},
  Journal = {GitHub repository},
  Howpublished = {\url{https://github.com/qubvel/segmentation_models.pytorch}}
}

🛡️ 许可证

项目是在MIT许可证下分发的