MONAI生成模型

将生成模型集成到MONAI核心、MONAI教程和MONAI模型库的示例代码库。

功能

• 网络架构：扩散模型、自动编码器-KL、VQ-VAE、自回归变压器、（多尺度）Patch-GAN判别器。
• 扩散模型噪声调度器：DDPM、DDIM 和 PNDM。
• 损失函数：对抗损失、频谱损失和感知损失（使用 LPIPS、RadImageNet 和 3DMedicalNet 预训练模型对 2D 和 3D 数据进行计算）。
• 度量指标：多尺度结构相似性指标（MS-SSIM）和 Fréchet 初始化距离（FID）。
• 扩散模型、潜在扩散模型和 VQ-VAE + Transformer 推理器类（兼容 MONAI 风格），包含训练、采样合成图像以及获取输入数据似然性的方法。
• 兼容 MONAI 的训练引擎（基于 Ignite），用于训练包含重建和对抗组件的模型。
• 教程包括
  • 如何在 2D 和 3D 数据上训练 VQ-VAEs、VQ-GANs、VQ-VAE + Transformers、AutoencoderKLs、扩散模型和潜在扩散模型。
  • 训练扩散模型以实现无分类器引导的条件图像生成。
  • 不同扩散模型调度器的比较。
  • 具有不同参数化的扩散模型（例如，v-prediction 和 epsilon 参数化）。
  • 使用 VQ-VAE + Transformers 和扩散模型进行异常检测。
  • 使用扩散模型进行修复（使用 Repaint 方法）。
  • 使用潜在扩散模型进行超分辨率（使用噪声条件增强）。

路线图

我们的短期目标可在仓库的里程碑部分找到。

从长远来看，我们旨在将生成模型集成到 MONAI 核心仓库中（支持图像合成、异常检测、MRI 重建、域迁移等任务）。

安装

要安装 MONAI 生成模型的当前版本，您可以运行

pip install monai-generative

要安装仓库的当前主分支，请运行

pip install git+https://github.com/Project-MONAI/GenerativeModels.git

需要 Python >= 3.8。

贡献

有关向 MONAI 做贡献的指导，请参阅贡献指南。

社区

加入 Twitter 上的讨论 @ProjectMONAI 或加入我们的 Slack 频道。

引用

如果您在研究中使用了 MONAI 生成模型，请引用我们！引用可以从论文中导出。

链接

• 网站：https://monai.org.cn/
• 代码：https://github.com/Project-MONAI/GenerativeModels
• 项目跟踪器：https://github.com/Project-MONAI/GenerativeModels/projects
• 问题跟踪器：https://github.com/Project-MONAI/GenerativeModels/issues