Holoscan SDK:构建高性能AI流应用程序
项目描述
Holoscan SDK
Holoscan SDK Python Wheel 是 NVIDIA Holoscan 的一部分,NVIDIA Holoscan 是一个 AI 传感器处理平台,该平台结合了低延迟传感器和网络连接的硬件系统、针对数据处理和 AI 优化的库以及运行流媒体、成像和其他应用程序的核心微服务,从嵌入式到边缘再到云。它可以用于为各种领域构建流媒体 AI 管道,包括医疗设备、边缘高性能计算、工业检测等。
入门指南
访问 Holoscan 用户指南以 开始使用 Holoscan SDK。
先决条件
- 每个受支持平台的先决条件在 用户指南 中记录。请注意,Python 轮子有许多可选依赖项,您可以根据需要手动安装(请参阅下面的兼容性矩阵)。
- Holoscan SDK Python 轮子仅在 Ubuntu 22.04 上正式测试。然而,它们预计可以在具有 glibc 2.35 或更高版本的任何 Linux 发行版上运行(请参阅
ldd --version
的输出)以及 CUDA 运行时 12.2 或更高版本。 - Python:3.8 到 3.11
故障排除
安装了版本 0.6.0 而不是最新版本
轮子的最新版本是在 Ubuntu 22.04 上使用 glibc 2.35 构建和测试的。您需要切换到一个具有更新版本 glibc 的 Linux 发行版,以使用 Holoscan SDK Python 轮子 1.0 或更高版本(使用 ldd --version
检查您的版本),或者使用 Holoscan SDK NGC 容器。
ERROR: Could not find a version that satisfies the requirement holoscan==<version> ERROR: No matching distribution found for holoscan==<version>
与上面相同,或者 Python 版本不兼容。
libc.so.6: version 'GLIBC_2.32 not found libstdc++.so.6: version `GLIBCXX_3.4.29` not found
与上面相同。
ImportError: libcudart.so.12: cannot open shared object file: No such file or directory
您的系统缺少 CUDA 运行时(即使对于仅 CPU 的管道也要求安装)。
- x86_64:遵循官方 安装步骤。
- 注意:虽然 Holoscan 不使用 CUDA Python API,但您可以选择使用
pip
而不是在系统范围内安装它来安装 CUDA 运行时 Python 轮子:python3 -m pip install nvidia-cuda-runtime-cu12
。在调用 Holoscan 应用程序之前,请确保更新您的LD_LIBRARY_PATH
环境变量,以包含这些 CUDA 库的路径,例如export CUDA_WHL_LIB_DIR=$(python3 -c 'import nvidia.cuda_runtime; print(nvidia.cuda_runtime.__path__[0])')/lib export LD_LIBRARY_PATH="$CUDA_WHL_LIB_DIR:$LD_LIBRARY_PATH"
- 注意:虽然 Holoscan 不使用 CUDA Python API,但您可以选择使用
- IGX Orin:确保已安装 计算堆栈。
- Jetson:重新安装JetPack 6.0。
Error: libnvinfer.so.8: cannot open shared object file: No such file or directory ... Error: libnvonnxparser.so.8: cannot open shared object file: No such file or directory
您的系统缺少TensorRT(请注意,它仅由holoscan.operators.InferenceOp
操作符需要)。
- x86_64:遵循官方安装步骤。
- 注意:如果您更喜欢使用
pip
而不是全局安装,也可以安装TensorRT库的python wheel:python3 -m pip install tensorrt-libs~=8.6.1 --index-url https://pypi.nvidia.com
。在调用Holoscan应用程序之前,请确保更新您的LD_LIBRARY_PATH
环境变量以包含这些TensorRT库的路径,例如export TRT_WHL_LIB_DIR=$(python3 -c 'import tensorrt_libs; print(tensorrt_libs.__path__[0])') export CUDNN_WHL_LIB_DIR=$(python3 -c 'import nvidia.cudnn; print(nvidia.cudnn.__path__[0])')/lib export CUBLAS_WHL_LIB_DIR=$(python3 -c 'import nvidia.cublas; print(nvidia.cublas.__path__[0])')/lib export LD_LIBRARY_PATH="$TRT_WHL_LIB_DIR:$CUDNN_WHL_LIB_DIR:$CUBLAS_WHL_LIB_DIR:$LD_LIBRARY_PATH"
- 注意:如果您更喜欢使用
- IGX Orin:确保已安装 计算堆栈。
- Jetson:重新安装JetPack 6.0。
from pip._internal.models.scheme import SCHEME_KEYS ModuleNotFoundError: No module named 'pip' ... ImportError: libholoscan_core.so.2: cannot open shared object file: No such file or directory
您的pip
版本可能太旧(<20.2),或者您正在尝试使用找不到的pip
的系统pip
安装holoscan
。
为了解决这个问题,您可以
- 在虚拟环境中安装
holoscan
,或者 - 卸载
holoscan
,使用python3 -m pip install --upgrade pip
在您的系统上升级pip,然后重新安装holoscan
项目详情
关闭
哈希值 for holoscan-2.5.0-cp311-cp311-manylinux_2_35_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 2a98f851cefcc635669aba9ab560ffa9ba41b37106e8267479949e71da928560 |
|
MD5 | a3d7b8e6ad59c4d184566d633894c087 |
|
BLAKE2b-256 | e43ea3fed4794f66e2fdcae2c09f03ea2b75b2f81de97a9fd30e5dcf7b30087a |
关闭
哈希值 for holoscan-2.5.0-cp311-cp311-manylinux_2_35_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | b1acb560ea45b2c7703cd016cb4b6f8c0357fdd1dd72336e736956193b85096c |
|
MD5 | 74127ae512e2fec77cc9a06817a8ab4a |
|
BLAKE2b-256 | 4b37cd1ffefa270fd11720b36d21c1248dac108bd5d40c68e22bad19f4d89530 |
关闭
哈希值 for holoscan-2.5.0-cp310-cp310-manylinux_2_35_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | eb8e1a0ffc3951c209fb1a1a2d53751ace394415cba3840033823429670f7571 |
|
MD5 | 9fcbca865a957d2d9acc4bcd23a0f507 |
|
BLAKE2b-256 | 0f437f6ada398fe31861a451ea84bd245d6d598dacd089042a29edc4d908de81 |
关闭
哈希值 for holoscan-2.5.0-cp310-cp310-manylinux_2_35_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 8b1e0026cf7985654d9fc0134049372fa71a8576ba9dce2243c1bab6b7991b41 |
|
MD5 | 5b3450c4178652ed92be09a56f4fbdb2 |
|
BLAKE2b-256 | abb3e276c5f03b0ceae6a7b559e3bf7d6a4990d9ab4bb958348f99f595d1a774 |
关闭
哈希值 for holoscan-2.5.0-cp39-cp39-manylinux_2_35_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 1bb96ce74c2ecbf23f873e57625e90d03a32aebca15dfb47b7f290539ca8ef70 |
|
MD5 | d7bea769dfdce5667debf21eba6dd724 |
|
BLAKE2b-256 | 0dd1f2c218bf8470832bd11e1aa27313129222fb3a2fc22a2b259f579bfc6adf |
关闭
哈希值 for holoscan-2.5.0-cp39-cp39-manylinux_2_35_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 95a6f7eecdc4e2c93ff5d932e24ccba0b5e5c4ef9ec9ccd146355c6d40e6f36a |
|
MD5 | 84d5a73e36c6d66bb1b48da0111a29dc |
|
BLAKE2b-256 | 5bc735b20f32c77124ffce57dcdca97c047f314e24c130f4a11b76f009180a81 |
关闭
哈希值 for holoscan-2.5.0-cp38-cp38-manylinux_2_35_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | d9bfe1662e0dc953b52861af605f31bea5122157b8076506b8d172f5bb53693b |
|
MD5 | c0cc4084d2fbbc67d2724a4c8d6daa10 |
|
BLAKE2b-256 | 64c89e82d94d0cbabeaa114eb48ec9c0a180d669191c9086e5eb1a87d63521cd |
关闭
哈希值 for holoscan-2.5.0-cp38-cp38-manylinux_2_35_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 0efb2d8e9fad2b23ae9255d86e554287f54de264e360b2e98f35931599859710 |
|
MD5 | 7cc8f3a98d1539bb6643937df4323da9 |
|
BLAKE2b-256 | 82ead7728c8d0b2b541569229527a861f5a3c74d05d910606410bf0d8121d5fd |