跳转到主要内容

Light-sheet数据集探索与处理

项目描述

fishcolorproj

dexp | light-sheet数据集探索与处理

dexp 是一个基于 napariCuPyZarrDASK 的库,用于管理、处理和可视化光片显微镜数据集。它包括光片专业化的图像处理函数(均衡、去噪、去雾、配准、融合、稳定、校正、反卷积)、可视化函数(基于napari的查看、2D/3D渲染、视频合成和缩放、生成mp4文件),以及数据集管理函数(复制、裁剪、连接、tiff转换)。几乎所有函数都通过 CuPy 进行GPU加速,但同时也提供基于 numpy 的回退选项,以便在小型数据集上进行测试。除了功能API之外,DEXP还提供了一个命令行界面,这使得非编码人员可以轻松地将大型处理工作流水线化,从大型多TB原始数据集到完全处理和渲染的MP4格式视频。

如何安装 dexp

先决条件

dexp 在OSX和Windows上运行,但建议使用最新的Ubuntu版本。我们推荐使用至少12G显存的NVIDIA显卡。

首先,请确保安装了一个 有效的Python安装。其次,请确保安装了一个兼容且功能齐全的 CUDA安装

一旦满足这些先决条件,您就可以安装 dexp

安装

dexp 可以简单地使用以下命令安装:

pip install dexp

要安装具有GPU支持的 dexp,可选功能以及彩色控制台输出:

conda install cupy
pip install dexp[optional,colored]

对于OSX用户:在安装 dexp 之前,您首先需要安装 cairo

brew install cairo

快速conda环境设置和安装

使用conda环境有多种选择

  • 您可以通过以下方式创建我们建议的 DEXP(以及一些额外的包)环境,它需要GPU:

    conda env create --name dexp --file env-linux-gpu.yaml
    
  • 或者使用以下命令从头开始创建自己的conda环境,删除任何现有的 dexp 环境,重新创建它,安装具有CUDA支持的 dexpnapari

    conda deactivate
    conda env remove --name dexp
    conda create -y --name dexp python=3.9
    conda activate dexp
    conda install cupy
    pip install dexp[optional,colored]
    pip install napari[all]
    

    如果您在cuda/cuda-toolkit上遇到问题,最好的方法是使用conda安装正确的cudatoolkit版本

    conda install -c conda-forge cudatoolkit==11.2.2
    

    您可以在 这里 查找最佳匹配版本。

    注意

    • 您可能会收到一些错误消息,建议您安装缺少的库,例如CUDNN、CuTensor、nccl等。这些消息通常附带有关如何操作的说明。
    • 调整您的驱动程序版本(此处为11.2)以匹配您的卡和驱动程序。
    • Windows用户在运行倒数第二步之前应先运行 conda install -c conda-forge pyopencl

利用额外的CUDA库以实现更快的处理

如果您希望 dexp 基于CUDA的处理速度更快,您可以安装以下命令中的额外库,例如CUDNN和CUTENSOR:

conda install -y -c conda-forge cudnn cutensor nccl

或者

dexp-install cudalibs 11.2

相应地更改CUDA版本。

dexp Zarr数据集结构

dexp 注入和写入的zarr数据集组织如下:

/ (root)
 └── channel1 (group)
     ├── channel1 (array)
     ├── channel1_projection_0 (optional)
     ├── channel1_projection_1 (optional)
     └── channel1_projection_2 (optional)
  └── channel2 (group)
     ├── channel2 (array)
     ├── channel2_projection_0 (optional)
     ├── channel2_projection_1 (optional)
     └── channel2_projection_2 (optional)
  └── more channels ...

通道(zarr组)可以是特定的发射颜色(例如DAPI、GFP等),或者/和特定的成像视图(例如双视图采集中的view1和view2)。在每个通道组下,可能有多个zarr数组。与组名相同的数组通常是n维栈(例如时间-z-y-x)。该nd数组的投影是可选的(用于快速探索nd栈)。当写入输出数据集时,dexp会自动生成这些投影。未来版本的可能添加更多此类便利数组,高列表当然是栈的下采样版本,以实现更快的可视化和浏览...

注意:我们的目标是最终将读取和写入默认过渡到ome-zarr和/或ngff存储。对于读取,我们还支持我们光片显微镜生成的特定数据集,有关支持的显微镜和格式,请参阅此处。这目前有限,但欢迎贡献力量!

DaXi

DEXP支持处理在DaXi显微镜上获取的数据集(论文)。您可以使用示例数据集测试DaXi数据处理。

版本

已发布版本的列表可在此处找到:此处。版本格式为:YYYY.MM.DD.M,其中YYYY是年份,MM是月份,dd是日期,M是当天已过分钟数。Git标签自动设置以将pipy版本链接到github标记版本,以便在github上检查相应的代码,这可能是最重要的功能。这是一个非常简单且语义清晰的版本控制方案,适合快速更新。

如何使用dexp

有关命令行命令和Python API的详细文档,请参阅此处

贡献者

Jordao Bragantini,Ahmet Can Solak,Bin Yang,和Loic A Royer

项目详情


下载文件

下载适用于您平台的文件。如果您不确定要选择哪一个,请了解有关安装软件包的更多信息。

源分布

dexp-2023.4.10.686.tar.gz (215.8 kB 查看散列值)

上传时间:

构建的发行版

dexp-2023.4.10.686-py2.py3-none-any.whl (341.2 kB 查看哈希值)

上传时间 Python 2 Python 3

由以下支持