TAO工具包快速入门指南

本页提供了安装和运行TAO工具包的快速入门指南。

要求

硬件

以下系统配置建议使用TAO工具包及其支持的模型实现合理的训练性能

• 32 GB系统RAM
• 32 GB GPU RAM
• 8核心CPU
• 1个NVIDIA GPU
• 100 GB SSD空间

TAO工具包支持A100、V100和RTX 30x0 GPU。

软件要求

安装前置条件

tao-launcher严格为仅支持python3的包，可在python 3.6.9或3.7上运行。

1. 按照官方说明安装docker-ce。

   安装docker-ce后，按照安装后步骤执行，以确保可以无需sudo运行docker。

2. 按照安装指南安装nvidia-container-toolkit。

3. 获取NGC账户和API密钥

   步骤a. 前往NGC，在“目录”标签页中点击TAO工具包容器。将显示以下消息：登录以访问此存储库的PULL功能。步骤b. 输入您的电子邮件地址，然后点击下一步，或者点击创建账户。步骤c. 在提示时选择您的组织中的组织/团队。步骤d. 点击登录。

4. 使用命令docker login nvcr.io登录NGC Docker注册表（nvcr.io），并输入以下凭据

     a. Username: $oauthtoken
     b. Password: YOUR_NGC_API_KEY
   

   其中YOUR_NGC_API_KEY对应于第3步生成的密钥。

推荐使用DeepStream 6.0 - NVIDIA IVA推理SDK。

安装TAO工具包

TAO工具包是一个托管在NVIDIA PyIndex上的Python pip软件包。该软件包使用docker restAPI在底层与NGC Docker注册表交互，以拉取和实例化底层docker容器。您必须有一个NGC账户以及与账户关联的API密钥。有关创建NGC账户和获取API密钥的详细信息，请参阅安装先决条件部分。

1. 使用virtualenvwrapper创建一个新的virtualenv。

   您可以通过以下链接中的说明来设置Python虚拟环境：[链接](https://python-guide-cn.readthedocs.io/en/latest/dev/virtualenvs.html)。

   安装virtualenv和virtualenvwrapper后，您可以在virtualenv中设置Python版本。这可以通过以下两种方式之一完成：

   • 定义名为VIRTUALENVWRAPPER_PYTHON的环境变量。该变量应指向您本地机器中python3二进制文件的路径。您还可以将其添加到.bashrc或.bash_profile中，以默认设置您的Python virtualenv。

     export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
     

   • 使用virtualenvwrapper包装器创建virtualenv时设置python3二进制文件的路径

     mkvirtualenv launcher -p /path/to/your/python3
     

   登录到virtualenv后，命令提示符应显示您的虚拟环境名称

   (launcher) py-3.6.9 desktop:
   

   完成会话后，您可以使用deactivate命令停止您的virtualenv

   deactivate
   

   您可以使用workon命令重新实例化创建的virtualenv。

   workon launcher
   

2. 安装名为nvidia-tlt的TAO启动器Python软件包。

   pip3 install nvidia-tlt
   

   如果您已安装了较旧的nvidia-tlt启动器版本，可以通过运行以下命令升级到最新版本。

   pip3 install --upgrade nvidia-tlt
   

3. 使用tlt命令调用入口点。

   tlt --help
   

   上述命令的示例输出如下

   usage: tlt [-h]
            {list,stop,info,augment,bpnet,classification,detectnet_v2,dssd,emotionnet,faster_rcnn,fpenet,gazenet,gesturenet,
            heartratenet,intent_slot_classification,lprnet,mask_rcnn,punctuation_and_capitalization,question_answering,
            retinanet,speech_to_text,ssd,text_classification,converter,token_classification,unet,yolo_v3,yolo_v4,yolo_v4_tiny}
            ...
   
   Launcher for TAO
   
   optional arguments:
   -h, --help            show this help message and exit
   
   tasks:
         {list,stop,info,augment,bpnet,classification,detectnet_v2,dssd,emotionnet,faster_rcnn,fpenet,gazenet,gesturenet,heartratenet
        ,intent_slot_classification,lprnet,mask_rcnn,punctuation_and_capitalization,question_answering,retinanet,speech_to_text,
        ssd,text_classification,converter,token_classification,unet,yolo_v3,yolo_v4,yolo_v4_tiny}  
   

   注意，在任务下可以看到所有可由启动器调用的任务。以下是一些帮助使用TAO启动器处理启动命令的具体任务

   • list
   • stop
   • info

   当将TAO工具包启动器安装到主机机器的本地python3而不是推荐的使用虚拟环境的方法时，您可能会收到一个错误，表示没有找到tlt二进制文件。这是因为在您的本地机器中，由pip安装的tlt二进制文件的路径没有被添加到PATH环境变量中。在这种情况下，请运行以下命令

   export PATH=$PATH:~/.local/bin
   

运行TAO工具包

有关TAO启动器CLI的信息以及如何使用它来运行TAO支持的任务的详细信息，请参阅TAO工具包启动器部分，位于TAO工具包用户指南中。

使用示例

TAO工具包支持的所有任务的Jupyter笔记本示例均可在NGC 资源中找到。TAO工具包为计算机视觉和对话式AI提供示例工作流。

计算机视觉

所有支持的计算机视觉任务的样本均托管在ngc下，位于TAO计算机视觉样本。要运行可用的示例，请使用以下命令下载此样本资源。

wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/tao/cv_samples/versions/v1.3.0/zip -O cv_samples_v1.3.0.zip
unzip -u cv_samples_v1.3.0.zip  -d ./cv_samples_v1.3.0 && rm -rf cv_samples_v1.3.0.zip && cd ./cv_samples_v1.3.0

对话式人工智能

TAO对话式人工智能包提供了几个端到端的工作流程样本，用于使用TAO工具包训练对话式人工智能模型，并将其部署到Riva。您可以在以下位置找到这些样本：

您可以通过使用NGC资源页面上的NGC CLI命令下载这些资源。一旦下载相应的教程资源，您就可以实例化Jupyter笔记本服务器。

pip3 install jupyter
jupyter notebook --ip 0.0.0.0 --allow-root --port 8888

将此命令产生的链接复制并粘贴到您的浏览器中，以访问笔记本。/workspace/examples文件夹将包含一个演示笔记本。如果您无法使用端口8888，请自由使用任何可用的空闲端口来托管笔记本。