ShareLoc实用工具

ShareLoc.XYZ在Python中的实用工具

功能

• 从https://shareloc.xyz网站批量下载数据集
• *.smlm文件的解析器

安装

pip install -U shareloc-utils

如果您想使用shareloc potree查看器

pip install -U shareloc-utils[potree]

批量下载的使用方法

下载数据集最简单的方法是访问https://shareloc.xyz并点击数据集上的下载图标。

然后您将获得一个生成的命令，您可以使用该命令下载数据集。

如果您想了解生成的命令是如何工作的，以下我们将给出一些示例。

基本来说，您可以直接将数据集的URL传递给命令行，如下所示

python -m shareloc_utils.batch_download --datasets=https://sandbox.zenodo.org/record/891810 --output_dir=./output

如果您想下载多个数据集，请使用逗号分隔多个数据集URL或仅Zenodo ID。

python -m shareloc_utils.batch_download --datasets=891810,887832 --sandbox --output_dir=./output

注意，当您使用Zenodo ID时，如果您使用的是沙盒服务器，则需要额外的参数--sandbox。

如果您想将下载的数据集转换为文本文件格式（例如CSV），请在命令后添加 --conversion。如果您想为可视化生成potree octree，设置--extension=".potree"（一个potree文件夹）或--extension=".potree.zip"（一个zip格式的potree文件）。

要打印所有其他选项，请输入

python -m shareloc_utils.batch_download --help

下载多个数据集

ShareLoc.XYZ网站支持书签功能（类似于购物车），您可以标记多个数据集并全部下载。

要使用它，您需要将鼠标移到您感兴趣的dataset卡片上方，然后点击书签图标进行标记。重复此过程，标记您想要下载的所有数据集。然后点击导航栏中的书签图标，并点击“下载所有”。

使用SMLM文件解析器

在Python中，您使用read_smlm_file函数来解析从ShareLoc(https://shareloc.xyz)下载的*.smlm文件。

以下示例中，我们首先解析smlm文件中的表格，然后生成直方图图像

from PIL import Image
from shareloc_utils.smlm_file import read_smlm_file, plot_histogram

# parse the .smlm file
manifest = read_smlm_file("./localization_table.smlm")
# one file can contain multiple localization tables
tables = manifest["files"]

# generate a histogram image for the first table
histogram = plot_histogram(tables[0]["data"], value_range=(0, 255))

# save the histogram image as 16-bit png file
im = Image.fromarray(histogram.astype("uint16"))
im.save("output.png")

开发

• 安装和设置开发环境。

  pip install -r requirements_dev.txt
  

  这将安装所有需求。它还将以开发模式安装此包，以便代码更改立即生效，无需重新安装。

• 以下是我们在开发中使用的工具列表。

  • black
  • flake8
  • mypy
  • pydocstyle
  • pylint
  • pytest
  • tox

• 建议在您的代码编辑器中也使用相应的代码格式化和linters，以获得即时反馈。一个可以做到这一点的流行编辑器是vscode。

• 运行所有测试，检查格式化和linting。

  tox
  

• 运行单个tox环境。

  tox -e lint
  

• 重新安装所有tox环境。

  tox -r
  

• 运行pytest和所有测试。

  pytest
  

• 运行pytest并为包计算覆盖率。

  pytest --cov-report term-missing --cov=shareloc_utils
  

• 默认支持通过GitHub actions进行持续集成。GitHub actions对公共仓库是免费的，并每月为私有仓库提供2000分钟的免费Ubuntu构建时间。