HI-ML多模态工具箱

此工具箱提供多模态健康数据的模型。代码可在GitHub和Hugging Face 🤗上找到。

入门指南

开始的最佳方式是运行短语接地笔记本和示例。所有依赖项将在执行时安装，因此Python 3.9和Jupyter是入门的唯一要求。

笔记本也可以在Binder上运行，无需下载任何代码或安装任何库。

安装

可以使用pip安装最新版本。

pip install --upgrade hi-ml-multimodal

开发

对于开发，建议克隆仓库并使用conda设置环境。

git clone https://github.com/microsoft/hi-ml.git
cd hi-ml-multimodal
make env

这将创建一个名为multimodal的conda环境，并安装所有运行和测试包的依赖项。

您可以通过访问API文档来深入了解我们的工具。

示例

对于使用文本提示进行零样本图像分类，请参阅示例脚本，该脚本使用Open-Indiana CXR数据集的一个小子集用于胸部X光图像的肺炎检测。请注意，这些示例和模型不适用于部署用例（商业或其他），目前不在范围之内。

Hugging Face 🤗

虽然GitHub仓库提供了使用我们模型的示例和管道，但权重和模型卡在Hugging Face 🤗上托管。

致谢

如果您在我们的研究中使用了我们的代码或模型，请引用我们最近的ECCV和CVPR论文。

Boecking, B., Usuyama, N. et al. (2022). 利用文本语义来提高生物医学视觉-语言处理的效果. In: Avidan, S., Brostow, G., Cissé, M., Farinella, G.M., Hassner, T. (eds) 计算机视觉 – ECCV 2022. ECCV 2022. 计算机科学讲座笔记，第13696卷。Springer，Cham. https://doi.org/10.1007/978-3-031-20059-5_1

Bannur, S., Hyland, S., et al. (2023). 学习利用时间结构进行生物医学视觉-语言处理. In: CVPR 2023.

BibTeX

@InProceedings{10.1007/978-3-031-20059-5_1,
    author="Boecking, Benedikt and Usuyama, Naoto and Bannur, Shruthi and Castro, Daniel C. and Schwaighofer, Anton and Hyland, Stephanie and Wetscherek, Maria and Naumann, Tristan and Nori, Aditya and Alvarez-Valle, Javier and Poon, Hoifung and Oktay, Ozan",
    editor="Avidan, Shai and Brostow, Gabriel and Ciss{\'e}, Moustapha and Farinella, Giovanni Maria and Hassner, Tal",
    title="Making the Most of Text Semantics to Improve Biomedical Vision--Language Processing",
    booktitle="Computer Vision -- ECCV 2022",
    year="2022",
    publisher="Springer Nature Switzerland",
    address="Cham",
    pages="1--21",
    isbn="978-3-031-20059-5"
}

@inproceedings{bannur2023learning,
    title={Learning to Exploit Temporal Structure for Biomedical Vision{\textendash}Language Processing},
    author={Shruthi Bannur and Stephanie Hyland and Qianchu Liu and Fernando P\'{e}rez-Garc\'{i}a and Maximilian Ilse and Daniel C. Castro and Benedikt Boecking and Harshita Sharma and Kenza Bouzid and Anja Thieme and Anton Schwaighofer and Maria Wetscherek and Matthew P. Lungren and Aditya Nori and Javier Alvarez-Valle and Ozan Oktay},
    booktitle={Conference on Computer Vision and Pattern Recognition 2023},
    year={2023},
    url={https://openreview.net/forum?id=5jScn5xsbo}
}