跳转到主要内容

NVIDIA DALI每周TensorFlow插件,用于CUDA 12.0。Git SHA: 408c18bb0d8a7c1b300e02fd7f6bb58369fdf4c6

项目描述

The TensorFlow插件使DALI可以与TensorFlow一起使用。

NVIDIA数据加载库(DALI)是一个用于数据加载和预处理的库,用于加速深度学习应用。它提供了一组高度优化的构建块,用于加载和处理图像、视频和音频数据。它可以作为内置数据加载器和数据迭代器的便携式替代品,用于流行的深度学习框架。

深度学习应用需要复杂的多阶段数据处理流水线,包括加载、解码、裁剪、调整大小和许多其他增强。这些目前仍在CPU上执行的数据处理流水线已成为瓶颈,限制了训练和推理的性能和可扩展性。

DALI通过将数据预处理卸载到GPU来解决CPU瓶颈问题。此外,DALI依赖于其自己的执行引擎,该引擎旨在最大化输入流水线的吞吐量。如预取、并行执行和批量处理等特性对用户是透明的。

此外,深度学习框架有多个数据预处理的实现,导致了一些挑战,例如训练和推理工作流程的可移植性和代码可维护性。使用DALI实现的数据处理流水线是可移植的,因为它们可以轻松地重新定向到TensorFlow、PyTorch、MXNet和PaddlePaddle。

有关更多详细信息,请参阅最新的DALI文档

DALI Diagram

项目详情


下载文件

下载适合您平台文件的文件。如果您不确定要选择哪个,请了解有关 安装包 的更多信息。

源分发

支持者

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面