Tensorflow对象检测API

在计算机视觉中，创建能够定位和识别单张图像中多个对象的高精度机器学习模型仍然是一个核心挑战。Tensorflow对象检测API是一个基于Tensorflow构建的开源框架，它可以轻松构建、训练和部署对象检测模型。在谷歌，我们发现这个代码库对我们的计算机视觉需求非常有用，我们希望您也会觉得它很有用。

我们欢迎对代码库的贡献，如果您发现这个API很有用，我们很高兴听到您的反馈。最后，如果您在研究出版物中使用Tensorflow对象检测API，请考虑引用

"Speed/accuracy trade-offs for modern convolutional object detectors."
Huang J, Rathod V, Sun C, Zhu M, Korattikara A, Fathi A, Fischer I, Wojna Z,
Song Y, Guadarrama S, Murphy K, CVPR 2017

[链接][bibtex]

维护者

• Jonathan Huang, github: jch1
• Vivek Rathod, github: tombstone
• Ronny Votel, github: ronnyvotel
• Derek Chow, github: derekjchow
• Chen Sun, github: jesu9
• Menglong Zhu, github: dreamdragon
• Alireza Fathi, github: afathi3
• Zhichao Lu, github: pkulzc

目录

设置

• 安装
  

快速入门

• 快速入门：Jupyter笔记本离线推理
  
• 快速入门：训练宠物检测器
  

自定义流水线

• 配置对象检测流水线
  
• 准备输入
  

运行

• 本地运行
  
• 云上运行
  

附加内容

• Tensorflow检测模型库
  
• 导出用于推理的训练模型
  
• 定义自己的模型架构
  
• 引入自己的数据集
  
• 支持的对象检测评估协议
  
• 在Open Images数据集上进行推理和评估
  
• 运行实例分割模型
  
• 运行2018年Open Images挑战赛的评估
  
• 兼容TPU的检测流程
  
• 使用TensorFlow Lite在移动设备上运行对象检测
  

获取帮助

如果您在使用Tensorflow对象检测API时遇到问题，请在StackOverflow上创建一个新问题，并使用“tensorflow”和“object-detection”标签。

请将错误（实际上是代码错误，不是使用问题）报告给tensorflow/models GitHub 问题跟踪器，在问题名称前加上“object_detection”。

在报告问题之前，请查看常见问题解答。

发布信息

2018年9月17日

我们发布了在iNaturalist物种检测数据集上训练的Faster R-CNN检测器，使用ResNet-50 / ResNet-101特征提取器。这些模型在iNaturalist数据的训练部分上训练了4M次迭代，分别在2854个类别上达到55%和58%的平均AP@.5。更多详情请参阅这篇论文。

感谢贡献者：Chen Sun

2018年7月13日

本版本更新了许多内容，扩展了API的功能和能力。

• 从基于slim的训练迁移到基于Estimator的训练。
• 支持RetinaNet，以及RetinaNet的MobileNet适配版本。
• 一个名为Pooling Pyramid Network（PPN）的基于SSD的新架构。
• 发布了几种兼容TPU的模型。这些模型可以在samples/configs/目录中找到，并在流程配置文件中用注释表明TPU兼容性。
• 支持量化训练。
• 更新了新二进制文件、云训练和Tensorflow Lite的文档。

请参阅我们扩展的公告博客文章和TensorFlow博客上的配套教程。

感谢贡献者：Sara Robinson，Aakanksha Chowdhery，Derek Chow，Pengchong Jin，Jonathan Huang，Vivek Rathod，Zhichao Lu，Ronny Votel

2018年6月25日

针对Open Images Challenge 2018的额外评估工具已经发布。请查看我们关于数据准备和运行评估的简短教程这里！

感谢贡献者：Alina Kuznetsova

2018年6月5日

我们已经将Open Images Challenge 2018两个轨道的评估指标实现作为对象检测API的一部分发布 - 更多详情请参阅评估协议。此外，我们还发布了一个用于Open Images Challenge的分层标签扩展工具：请查看oid_hierarchical_labels_expansion.py。

感谢贡献者：Alina Kuznetsova，Vittorio Ferrari，Jasper Uijlings

2018年4月30日

我们发布了基于 ResNet-101 特征提取器的 Faster R-CNN 检测器，该检测器在 AVA v2.1 数据集上进行了训练。AVA v2.1。与其他常用的目标检测器相比，它将动作分类损失函数更改为每类的 Sigmoid 损失函数，以处理具有多个标签的边界框。该模型在 AVA v2.1 的训练分割上进行了 1.5M 次迭代训练，在 AVA v2.1 的验证分割上实现了 60 个类别平均 AP 为 11.25%。更多详情请参阅此论文。

感谢贡献者：陈孙，大卫·罗斯

2018年4月2日

使用下一代移动对象检测器为您的手机加速！我们增加了对 MobileNet V2 和 SSDLite 的支持，如MobileNetV2: Inverted Residuals and Linear Bottlenecks中所介绍。此模型在 Google Pixel 手机 CPU 上比 Mobilenet V1 SSD 快 35%（200ms 比 270ms），同时保持相同的准确度。除了模型定义外，我们还发布了在 COCO 数据集上训练的模型检查点。

感谢贡献者：朱孟龙，马克·桑德勒，陆志超，维韦克·拉托德，黄健翔

2018年2月9日

我们现在支持实例分割了！！在本 API 更新中，我们支持了与Mask R-CNN 论文中讨论的类似的一组实例分割模型。有关更多详细信息，请参阅我们来自 2017 Coco + Places 工作坊的幻灯片。有关如何配置预测掩码和对象边界框的模型的说明，请参阅运行实例分割模型部分。

感谢贡献者：阿里雷扎·法提，陆志超，维韦克·拉托德，罗尼·沃特尔，黄健翔

2017年11月17日

作为 Open Images V3 发布的一部分，我们发布了

• Open Images 评估指标和协议的实现。
• 用于分离检测和评估的附加工具（请参阅此教程）。
• 在 Open Images V2 数据发布上训练的新检测模型（请参阅Open Images 模型）。

有关更多信息，请访问Open Images 网站！

感谢贡献者：斯特凡·波波夫，阿琳娜·库兹涅佐娃

2017年11月6日

我们在模型库中重新发布了我们（预训练）模型的更快版本。除了之前的可用内容外，我们还增加了在 COCO 上使用 Inception V2 和 Resnet-50 特征提取器训练的 Faster R-CNN 模型，以及一个在 KITTI 数据集上训练的 Resnet-101 Faster R-CNN 模型。

感谢贡献者：黄健翔，维韦克·拉托德，周德耀，塔勒·雷梅茨，陈孙。

2017年10月31日

我们发布了一个新的对象检测模型，该模型使用 Faster R-CNN 和NASNet-A 图像特征化，在 COCO 的测试-dev 验证数据集上实现了 43.1% 的 mAP，比库中最佳的模型绝对 mAP 提高了 6%。

感谢贡献者：巴雷特·索夫，维贾伊·瓦苏德夫南，乔纳森·舍恩斯，吴恩达

2017年8月11日

我们发布了Android Detect 演示的更新，现在可以在 Android 设备上运行使用 Tensorflow Object Detection API 训练的模型。默认情况下，它目前运行一个在 COCO 上训练的冻结 SSD w/Mobilenet 检测器，但我们鼓励您尝试其他检测模型！

感谢贡献者：黄健翔，安德鲁·哈珀

2017年6月15日

除了我们的基础 Tensorflow 检测模型定义之外，本版本还包括

• 一组可训练的检测模型，包括
  • MobileNet 的单次射击多框检测器（SSD），
  • Inception V2 的 SSD，
  • 基于区域的完全卷积网络（R-FCN）与 Resnet 101，
  • 与 Resnet 101 的 Faster RCNN，
  • 基于Inception Resnet v2的Faster RCNN
• 为上述每个模型提供的冻结权重（在COCO数据集上训练），用于即用型推理目的。
• 一个用于使用我们发布的模型进行即用型推理的Jupyter笔记本
• 方便的本地训练脚本，以及通过Google Cloud进行分布式训练和评估流程。

感谢贡献者：Jonathan Huang，Vivek Rathod，Derek Chow，Chen Sun，Menglong Zhu，Matthew Tang，Anoop Korattikara，Alireza Fathi，Ian Fischer，Zbigniew Wojna，Yang Song，Sergio Guadarrama，Jasper Uijlings，Viacheslav Kovalevskyi，Kevin Murphy