fastMRI

网站 | 数据集 | GitHub | 出版物

通过获取更少的测量值来加速磁共振成像（MRI）有可能降低医疗成本、最小化对患者造成的压力，并在目前速度过慢或成本过高的应用中实现MRI成像。

fastMRI是Facebook人工智能研究（FAIR）和纽约大学朗格尼健康进行的一项合作研究项目，旨在研究使用AI来加速MRI扫描。纽约大学朗格尼健康已发布可从fastMRI数据集页面下载的完全匿名化的膝关节和脑部MRI数据集。与fastMRI项目相关的出版物可以在本README文件的末尾找到。

该存储库包含便捷的 PyTorch 数据加载器、子采样函数、评估指标以及简单基线方法的参考实现。它还包括 fastMRI 项目部分出版物中方法的实现。

文档

fastMRI 数据集

有多篇论文描述了数据的多个子组件（例如，大脑与膝盖）及其基线。所有 fastMRI 数据都可以从 fastMRI 数据集页面 下载。

• 项目概述、数据集、基线： fastMRI：加速 MRI 的开源数据集和基准 ({J. Zbontar*，F. Knoll*，A. Sriram* 等人，2018)}

• 膝盖数据： fastMRI：公开的原始 k 空间和 DICOM 膝关节图像数据集，用于使用机器学习加速 MR 图像重建 ({F. Knoll*，J. Zbontar* 等人，2020)}

• 大脑数据集属性： 2020 年 fastMRI 挑战赛机器学习 MR 图像重建结果（M. Muckley*，B. Riemenschneider* 等人，2021）的补充材料

• 前列腺数据： FastMRI Prostate：一个公开的，双参数 MRI 数据集，用于推进前列腺癌成像的机器学习（Tibrewala 等人，2023）

代码存储库

对于代码文档，大多数函数和类都有附带的 docstrings，您可以通过 IPython 中的 help 函数访问它们。例如

from fastmri.data import SliceDataset

help(SliceDataset)

依赖项和安装

注意：代码的贡献通过 GitHub actions 持续测试。如果您遇到问题，最好的第一步是尝试匹配 setup.cfg 中的 tests 环境，例如，从源安装时使用 pip install --editable ".[tests]"。

注意：如 问题 215 中所述，当使用从 pip 安装的 h5py 并转换为 torch.Tensor 时，目前存在内存泄漏。为了避免泄漏，您需要使用 HDF5 版本在 1.12.1 之前的 h5py。截至 2022 年 2 月 16 日，conda 版本的 h5py 3.6.0 使用了 HDF5 1.10.6，这避免了泄漏。

首先根据您操作系统和 CUDA 设置的说明在 PyTorch 网站 上安装 PyTorch。然后，运行

pip install fastmri

pip 将处理所有包依赖项。之后，您应该能够运行存储库中的大部分代码。

直接从源安装

如果您想直接从 GitHub 源安装，请克隆存储库，导航到 fastmri 根目录，然后运行

pip install -e .

包结构和用法

该存储库以 fastmri 模块为中心。以下是对基本结构的说明

fastmri：包含复数数学、线圈组合等基本工具。

• fastmri.data：包含从原始 data 文件夹中获取的数据实用函数，可用于创建采样掩码和提交文件。
• fastmri.models：包含重建模型，例如 U-Net 和 VarNet。
• fastmri.pl_modules：PyTorch Lightning 模块，用于数据加载、训练和记录。

示例和可重复性

在 fastmri_examples 和 banding_removal 文件夹中包含可重复性的代码。基线模型用于 arXiv 论文。

以下是对基于论文的实现简要总结，并附有代码链接。为了完整性，我们还提到了关于主动采集的工作，该工作位于另一个存储库中。

• 基线模型

  • 用于保存排行榜提交图像的零填充示例
  • ESPIRiT——一种用于自校准并行磁共振成像的特征值方法：SENSE与GRAPPA的相遇（M. Uecker等人，2013年）
  • U-Net：用于生物医学图像分割的卷积网络（O. Ronneberger等人，2015年）

• 采样、重建和伪影校正

  • 利用对称性改进基于深度学习的加速磁共振重建的偏移采样（A. Defazio，2019年）
  • 用于加速磁共振重建的端到端变分网络（{A. Sriram*，J. Zbontar*}等人，2020年）
  • 通过对抗训练去除MRI频带伪影（A. Defazio等人，2020年）
  • 深度学习重建使前瞻性加速临床膝关节MRI成为可能（P. Johnson等人，2023年）

• 主动采集

  • （外部仓库）通过主动采集降低欠采样MRI重建的不确定性（Z. Zhang等人，2019年）
  • （外部仓库）使用强化学习进行主动MRI k空间采样（L. Pineda等人，2020年）
  • 学习欠采样多线圈MRI重建的自适应采集策略（T. Bakker等人，2022年）

• 前列腺数据

  • （外部仓库）FastMRI前列腺：一个公开可用的双参数MRI数据集，用于前列腺癌成像的机器学习进步（Tibrewala等人，2023年）

测试

运行pytest tests。默认情况下，使用fastMRI数据集的集成测试将被跳过。如果您想运行这些测试，请在conftest中将SKIP_INTEGRATIONS设置为False。

训练模型

数据README提供了一个加载数据和合并数据转换的示例。这个jupyter笔记本包含一个简单教程，解释如何开始使用数据。

请查看此U-Net演示脚本，了解如何使用PyTorch Lightning框架训练模型。

提交到排行榜

注意：如讨论293中所述，fastmri.org域名已于2023年4月17日从Meta所有权转让给NYU所有权，NYU尚未重建该网站。在NYU重建网站和排行榜之前，排行榜将不可用。缓解措施请见讨论293。

许可

fastMRI遵循MIT许可证，如LICENSE文件中所示。

引用

如果您在项目中使用fastMRI数据或代码，请引用该arXiv论文

@misc{zbontar2018fastMRI,
    title={{fastMRI}: An Open Dataset and Benchmarks for Accelerated {MRI}},
    author={Jure Zbontar and Florian Knoll and Anuroop Sriram and Tullie Murrell and Zhengnan Huang and Matthew J. Muckley and Aaron Defazio and Ruben Stern and Patricia Johnson and Mary Bruno and Marc Parente and Krzysztof J. Geras and Joe Katsnelson and Hersh Chandarana and Zizhao Zhang and Michal Drozdzal and Adriana Romero and Michael Rabbat and Pascal Vincent and Nafissa Yakubova and James Pinkerton and Duo Wang and Erich Owens and C. Lawrence Zitnick and Michael P. Recht and Daniel K. Sodickson and Yvonne W. Lui},
    journal = {ArXiv e-prints},
    archivePrefix = "arXiv",
    eprint = {1811.08839},
    year={2018}
}

如果您在项目中使用fastMRI前列腺数据或代码，请引用该论文

@misc{tibrewala2023fastmri,
  title={{FastMRI Prostate}: A Publicly Available, Biparametric {MRI} Dataset to Advance Machine Learning for Prostate Cancer Imaging},
  author={Tibrewala, Radhika and Dutt, Tarun and Tong, Angela and Ginocchio, Luke and Keerthivasan, Mahesh B and Baete, Steven H and Chopra, Sumit and Lui, Yvonne W and Sodickson, Daniel K and Chandarana, Hersh and Johnson, Patricia M},
  journal = {ArXiv e-prints},
  archivePrefix = "arXiv",
  eprint={2304.09254},
  year={2023}
}

论文列表

以下列出了fastMRI项目的论文标题。相应的摘要以及预印本和代码链接可以在此处找到。

1. Zbontar, J.*，Knoll, F.*，Sriram, A.*，Murrell, T.，Huang, Z.，Muckley, M. J.，... & Lui, Y. W. (2018)。 fastMRI：加速磁共振的公开数据集和基准。 arXiv预印本，arXiv:1811.08839。
2. 张，Z.，Romero，A.，Muckley，M. J.，Vincent，P.，杨，L.，& Drozdzal，M. (2019)。 通过主动采集降低欠采样MRI重建的不确定性。在CVPR，第2049-2058页。
3. Defazio，A. (2019)。 利用对称性改进基于深度学习的加速磁共振重建的偏移采样。 arXiv预印本，arXiv:1912.01101。
4. Knoll, F.*, Zbontar, J.*, Sriram, A., Muckley, M. J., Bruno, M., Defazio, A., ... & Lui, Y. W. (2020). fastMRI：用于机器学习加速MR图像重建的公开可用原始k空间和DICOM膝部图像数据集. 《放射学：人工智能》，2(1)，第e190007页。
5. Knoll, F.*, Murrell, T.*, Sriram, A.*, Yakubova, N., Zbontar, J., Rabbat, M., ... & Recht, M. P. (2020). 通过公开竞赛推进机器学习在MR图像重建中的应用：2019年fastMRI挑战赛概述. 《磁共振成像》，84(6)，第3054-3070页。
6. Sriram, A., Zbontar, J., Murrell, T., Zitnick, C. L., Defazio, A., & Sodickson, D. K. (2020). GrappaNet：结合并行成像和深度学习进行多线圈MRI重建. 在《CVPR》中，第14315-14322页。
7. Recht, M. P., Zbontar, J., Sodickson, D. K., Knoll, F., Yakubova, N., Sriram, A., ... & Zitnick, C. L. (2020). 使用深度学习加速3T膝部MRI：互换性研究结果. 《美国放射学杂志》，215(6)，第1421-1429页。
8. Pineda, L., Basu, S., Romero, A., Calandra, R., & Drozdzal, M. (2020). 使用强化学习进行主动MR k空间采样. 在《MICCAI》中，第23-33页。
9. Sriram, A.*, Zbontar, J.*, Murrell, T., Defazio, A., Zitnick, C. L., Yakubova, N., ... & Johnson, P. (2020). 用于加速MRI重建的端到端变分网络. 在《MICCAI》中，第64-73页。
10. Defazio, A., Murrell, T., & Recht, M. P. (2020). 通过对抗训练去除MRI条纹. 在《神经信息处理系统进展》第33卷，第7660-7670页。
11. Muckley, M. J.*, Riemenschneider, B.*, Radmanesh, A., Kim, S., Jeong, G., Ko, J., ... & Knoll, F. (2021). 2020年fastMRI机器学习MR图像重建挑战赛结果. 《IEEE医学图像杂志》，40(9)，第2306-2317页。
12. Johnson, P. M., Jeong, G., Hammernik, K., Schlemper, J., Qin, C., Duan, J., ..., & Knoll, F. (2021). 评估fastMRI挑战赛中模型的训练和测试数据之间的系统偏差对学习到的MR图像重建的鲁棒性. 在《MICCAI MLMIR研讨会》中，第25-34页。
13. Bakker, T., Muckley, M.J., Romero-Soriano, A., Drozdzal, M. & Pineda, L. (2022). 学习欠采样多线圈MRI重建的自适应采集策略. 在《MIDL》中，第63-85页。
14. Radmanesh, A.*, Muckley, M. J.*, Murrell, T., Lindsey, E., Sriram, A., Knoll, F., ... & Lui, Y. W. (2022). 探索基于深度学习VarNet的二维脑部MRI的加速极限. 《放射学：人工智能》，4(6)，第e210313。
15. Johnson, P.M., Lin, D.J., Zbontar, J., Zitnick, C.L., Sriram, A., Muckley, M., Babb, J.S., Kline, M., Ciavarra, G., Alaia, E., ..., & Knoll, F. (2023). 深度学习重建实现前瞻性加速临床膝部MRI. 《放射学》，307(2)，第e220425。
16. Tibrewala, R., Dutt, T., Tong, A., Ginocchio, L., Keerthivasan, M.B., Baete, S.H., Lui, Y.W., Sodickson, D.K., Chandarana, H., Johnson, P.M. (2023). FastMRI前列腺：一个公开可用的双参数MRI数据集，用于推进前列腺癌影像的机器学习. 《arXiv预印本》，arXiv:2034.09254。