跳转到主要内容

Intel® 迁移学习工具

项目描述

Style Checks Doc Test Unit Tests Integration Tests Notebook Test

注意:您可以阅读关于英特尔迁移学习工具的内容,遵循入门指南,并从我们的发布文档站点浏览API材料https://intelai.github.io/transfer-learning

Intel® 迁移学习工具

迁移学习工作流程使用在大数据集上通过预训练模型学到的知识来提高相关问题(具有较小数据集)的性能。

什么是Intel® 迁移学习工具

Intel® 迁移学习工具使您能够更容易、更快地在各种AI用例中创建迁移学习工作流程。其开源Python*库利用公开的预训练模型中心、Intel优化的深度学习框架以及您自定义的数据集,以有效地生成针对Intel硬件优化的新模型。

此项目文档提供了有关Intel Transfer Learning Tool的信息、资源链接以及使用说明,包括Jupyter* 笔记本和示例,以展示其用法。

特性

  • 支持PyTorch*和TensorFlow*
  • 从Torchvision、PyTorch Hub、TensorFlow Hub、Keras和Hugging Face中选择超过100个计算机视觉和自然语言处理模型https://Models.md
  • 用例包括
    • 图像分类
    • 文本分类
    • 文本生成
    • 视觉异常检测
  • 使用您自己的自定义数据集或使用内置数据集快速开始
  • 自动创建针对您的数据集定制的可训练分类层
  • 使用缩放、裁剪、批处理和拆分对您的数据集进行预处理
  • 使用API进行预测、评估和基准测试
  • 导出您的模型以部署或从检查点恢复训练

Intel优化

  • 使用Intel® 对TensorFlow和Intel® 对PyTorch的优化来提高性能
  • 使用Intel® 神经压缩器进行INT8量化以减小模型大小并加快推理速度
  • 使用Intel Neural Compressor对FP32推理进行模型优化
  • 使用选定的硬件平台上的自动混合精度减少训练时间
  • 使用多节点训练进一步减少训练时间

英特尔迁移学习工具如何工作

英特尔迁移学习工具允许您使用TensorFlow或PyTorch训练AI模型,可以通过bash提示符下的无代码命令行界面(CLI)命令,或者从Python脚本中的低代码应用程序编程接口(API)调用。

使用您自己的数据集或选择文档中列出的公共数据集中的一个现有图像或文本数据集。使用TensorFlow或PyTorch框架构建自己的CLI或API命令,用于训练、评估和优化,并最终导出针对英特尔CPU推理优化的已保存模型。

本图展示了英特尔迁移学习工具流程概述

英特尔迁移学习工具流程

Intel Transfer Learning Tool Flow

开始使用

查看开始指南,它将引导您检查系统要求、安装工具,并通过几个示例展示无代码CLI和低代码API方法。之后,您可以查看这些额外的CLI和API示例

开始指南中所述,一旦设置了Python环境,您就可以安装英特尔迁移学习工具的基本版本。以下是开始指南中您会发现的一些示例命令

pip install intel-transfer-learning-tool

然后,您可以使用迁移学习工具CLI界面(tlt)训练一个TensorFlow图像分类模型(resnet_v1_50),下载并使用现有的内置数据集(tf_flowers),并使用以下命令将训练好的模型保存到/tmp/output

tlt train --framework tensorflow --model-name resnet_v1_50 --dataset-name tf_flowers \
   --output-dir /tmp/output --dataset-dir /tmp/data

使用tlt --help查看CLI命令列表。有关每个命令的更详细帮助,可以使用,例如tlt train --help

关于评估和偏差的说明

英特尔迁移学习工具提供标准评估指标,如准确率和损失,用于验证/测试/训练集。虽然这些指标很重要,但必须认识到,这些指标可能不会明确捕捉到偏差。用户应谨慎,并通过分析数据和模型预测中的差异来考虑潜在的偏差。混淆矩阵、PR曲线、ROC曲线、基于局部归因的gradCAM解释等技术都可以是偏差的良好指标。清晰记录模型行为和性能对于迭代偏差缓解也非常重要。英特尔® 可解释AI工具提供了Explainer组件,它提供了一个简单的API,提供后处理模型蒸馏和可视化方法,以及模型卡生成器,它提供了一个包含这些工作流程和模型行为演示的交互式HTML报告。

支持

英特尔迁移学习工具团队使用GitHub问题跟踪错误和增强请求。在提交建议或错误报告之前,请搜索现有的GitHub问题,以查看您的问题是否已被报告。

有关免责声明、商标和许可信息,请参阅法律信息

项目详细信息


下载文件

下载您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源分发

intel-transfer-learning-tool-0.6.0.tar.gz (189.8 kB 查看哈希)

上传于 源代码

构建版本

intel_transfer_learning_tool-0.6.0-py3-none-any.whl (305.1 kB 查看哈希值)

上传于 Python 3

由以下支持