工作中

特性

• CLI/API用于
  • 从s3下载模型并拉取triton服务器的docker镜像
  • 启动s3服务器
  • 启动triton服务器
  • ...
• 支持不同的容器引擎
  • Docker
  • Apptainer
• 支持不同的计算环境
  • 本地
  • Slurm

安装

pip install hypha-launcher

CLI使用方法

hypha-launcher --help

在HPC上启动BioEngine Worker

BioEngine由一组用于从bioimage.io提供AI模型的服务组成。我们提供从https://bioimage.io访问的模型测试运行功能，以及专门的bioengine网络客户端：https://bioimage-io.github.io/bioengine-web-client/。虽然我们的公共实例对测试和评估是公开的，但您也可以运行自己的BioEngine Worker实例来提供模型，例如使用您自己的HPC计算资源。

从s3下载所有模型并启动triton服务器。

在HPC集群上启动。您需要通过设置环境变量HYPHA_HPC_JOB_TEMPLATE为您的HPC集群设置作业命令模板。

例如，以下是在Slurm集群上启动BioEngine的示例

# Please replace the job command with your own settings
export HYPHA_HPC_JOB_TEMPLATE="srun -A Your-Slurm-Account -t 03:00:00 --gpus-per-node A100:1 {cmd}"
python -m hypha_launcher launch_bioengine_worker --hypha-server-url https://ai.imjoy.io --triton-service-id my-triton

在上面的示例中，作业命令模板被设置为使用指定的账户和时间限制的Slurm调度器。占位符{cmd}将被替换为实际启动作业的命令。

可选地，您也可以通过设置环境变量HYPHA_LAUNCHER_STORE_DIR来设置存储模型和triton服务器配置的存储路径。默认情况下，存储路径设置为.hypha-launcher。

export HYPHA_LAUNCHER_STORE_DIR=".hypha-launcher"

从s3下载模型

python -m hypha-launcher - download_models_from_s3 bioengine-model-runner.* --n_parallel=5

拉取triton服务器的docker镜像

python -m hypha-launcher - pull_image

待办事项

• 从s3下载模型
• 拉取triton服务器的docker镜像
• 运行triton服务器
• 在hypha上注册服务
• 与triton服务器通信
• HPC上测试
• 支持在无GPU的本地机器上运行
• 支持在容器内启动容器（支持在podman-desktop内运行）
• 作业管理（自动停止和重启）
• 负载均衡
• 文档

开发

使用以下命令以可编辑模式安装包

pip install -e .
pip install -r requirements-dev.txt