nvtabular

未提供项目描述

这些详情尚未由PyPI验证

项目链接

主页

项目描述

NVTabular 是一个用于表格数据的特征工程和预处理库，旨在轻松处理千兆级数据集并训练基于深度学习（DL）的推荐系统。它通过使用 RAPIDS Dask-cuDF 库提供高级抽象，以简化代码并加速GPU上的计算。

NVTabular是NVIDIA Merlin框架的一部分，NVIDIA Merlin是一个开源框架，用于构建和部署推荐系统，并与Merlin的其他组件（包括Merlin Models、HugeCTR和Merlin Systems）一起工作，以在GPU上提供端到端加速的推荐系统。NVTabular不仅扩展了模型训练，还通过NVIDIA的Triton Inference Server，可以将训练过程中在数据上执行的特征工程和预处理步骤自动应用于推理过程中的传入数据。

优势

在训练深度学习推荐系统时，数据科学家和机器学习（ML）工程师面临着以下挑战：

大规模数据集：商业推荐系统是在可能达到数个TB规模的大型数据集上训练的。
复杂的数据特征工程和预处理流程：数据集需要预处理和转换，以便可以与深度学习模型和框架一起使用。此外，特征工程从现有特征中创建大量新特征，需要多次迭代才能找到最佳解决方案。
输入瓶颈：如果数据加载没有进行优化，可能是训练过程中最慢的部分，导致高吞吐量计算设备（如GPU）利用率低下。
大量的重复实验：整个数据工程、训练和评估过程可能是重复且耗时的，需要大量的计算资源。

NVTabular缓解了这些挑战，并帮助数据科学家和ML工程师

处理超出GPU和CPU内存的规模的数据集，无需担心规模。
专注于数据应该做什么，而不是如何做，通过操作层面的抽象来使用。
快速轻松地为实验准备数据集，以便可以训练更多模型。
通过提供更快的数据集转换来部署模型到生产环境中

在NVTabular的核心功能文档中了解更多信息。

性能

在Criteo 1TB Click Logs数据集上使用单个V100 32GB GPU运行NVTabular时，特征工程和预处理可以在13分钟内完成。此外，在DGX-1集群上使用八个V100 GPU运行NVTabular时，特征工程和预处理可以在三分钟内完成。与HugeCTR结合使用，数据集可以在仅6分钟内进行处理，完整模型可以训练。

Criteo DRLM工作流程的性能也证明了NVTabular库的有效性。原始的Numpy提供的ETL脚本需要超过五天才能完成。结合CPU训练，总迭代时间超过一周。通过在Spark中优化ETL代码并在DGX-1等效集群上运行，特征工程和预处理的完成时间减少到三小时。同时，训练在1小时内完成。

安装

NVTabular需要Python版本3.7+。此外，GPU支持需要

CUDA版本11.0+
NVIDIA Pascal GPU或更高版本（计算能力≥6.0）
NVIDIA驱动器450.80.02+
Linux或WSL

使用Conda安装NVTabular

可以通过运行以下命令从nvidia通道使用Anaconda安装NVTabular

conda install -c nvidia -c rapidsai -c numba -c conda-forge nvtabular python=3.7 cudatoolkit=11.2

使用Pip安装NVTabular

可以通过运行以下命令使用pip安装NVTabular

pip install nvtabular

使用Pip安装NVTabular会导致NVTabular仅在CPU上运行，可能需要手动安装额外的依赖项。当您在我们的Docker容器中运行NVTabular时，依赖项已经安装。

使用Docker安装NVTabular

NVTabular Docker 容器可在NVIDIA Merlin 容器仓库中找到。以下表格总结了容器的关键信息：

容器名称	容器位置	功能
merlin-hugectr	https://catalog.ngc.nvidia.com/orgs/nvidia/teams/merlin/containers/merlin-hugectr	NVTabular、HugeCTR 和 Triton 推理
merlin-tensorflow	https://catalog.ngc.nvidia.com/orgs/nvidia/teams/merlin/containers/merlin-tensorflow	NVTabular、Tensorflow 和 Triton 推理
merlin-pytorch	https://catalog.ngc.nvidia.com/orgs/nvidia/teams/merlin/containers/merlin-pytorch	NVTabular、PyTorch 和 Triton 推理

要使用这些 Docker 容器，您首先需要安装NVIDIA 容器工具包，以提供 Docker 的 GPU 支持。您可以使用上表中引用的 NGC 链接获取有关如何启动和运行这些容器的更多信息。有关 NVTabular 支持的每个容器中软件和模型版本的更多信息，请参阅支持矩阵。

笔记本示例和教程

我们提供了一组示例，以演示 NVTabular 作为 Jupyter 笔记本进行特征工程

NVTabular 高级 API 简介
NVTabular 的高级工作流程
NVTabular 在 CPU 上
将 NVTabular 规模扩展到多 GPU 系统

此外，NVTabular 还被用于我们许多其他 Merlin 库的示例中

反馈和支持

如果您想直接为库做出贡献，请参阅Contributing.md。我们特别感兴趣的是对我们特征工程和预处理的贡献或功能请求。为了进一步推进我们的 Merlin 路线图，我们鼓励您通过此调查分享有关您的推荐系统管道的所有详细信息。

如果您想了解更多关于 NVTabular 的工作原理，请参阅我们的 NVTabular 文档。我们还有API 文档，概述了库中可用的具体调用。

项目详情

这些详情尚未由PyPI验证

项目链接

主页

发布历史发布通知 | RSS 源

本版本

23.8.0

2023 年 8 月 29 日

23.6.0

2023 年 6 月 22 日

23.5.0

2023 年 5 月 31 日

23.4.0

2023 年 4 月 26 日

23.2.0

2023 年 3 月 13 日

1.8.1

2023 年 2 月 3 日

1.5.0

2022 年 9 月 26 日

1.4.0

2022 年 9 月 6 日

1.3.3

2022 年 7 月 22 日

1.3.2

2022 年 7 月 20 日

1.3.1

2022 年 7 月 19 日

1.3.0

2022 年 7 月 19 日

1.2.2

2022 年 6 月 21 日

1.2.1

2022 年 6 月 16 日

1.2.0

2022 年 6 月 15 日

1.1.1

2022 年 5 月 10 日

1.1.0

2022 年 5 月 10 日

1.0.0

2022 年 4 月 6 日

0.11.0

2022 年 3 月 1 日

0.10.0

2022 年 2 月 17 日

0.9.0

2022 年 1 月 13 日

0.8.0

2021 年 12 月 9 日

0.7.1

2021 年 11 月 5 日

0.7.0

2021 年 9 月 24 日

0.6.1

2021 年 8 月 11 日

0.6.0

2021 年 8 月 9 日

0.5.3

2021 年 6 月 8 日

0.5.1

2021 年 5 月 5 日

0.5.0

2021 年 4 月 13 日

0.4.0

2021 年 4 月 13 日

0.3.0

2020 年 11 月 23 日

0.2.0

2020 年 9 月 25 日

0.1.1

2020 年 6 月 4 日

0.1.0

2020 年 5 月 14 日

下载文件

下载适合您平台的文件。如果您不确定该选择哪个，请了解更多关于安装软件包的信息。

源分布

nvtabular-23.8.0.tar.gz (114.3 kB 查看哈希值)

上传时间 2023 年 8 月 29 日 源

构建分布

nvtabular-23.8.0-cp311-cp311-musllinux_1_1_x86_64.whl (792.6 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.11 musllinux: musl 1.1+ x86-64

nvtabular-23.8.0-cp311-cp311-musllinux_1_1_i686.whl (853.0 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.11 musllinux: musl 1.1+ i686

nvtabular-23.8.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (285.6 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.11 manylinux: glibc 2.17+ x86-64

nvtabular-23.8.0-cp311-cp311-manylinux_2_17_i686.manylinux2014_i686.whl (295.2 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.11 manylinux: glibc 2.17+ i686

nvtabular-23.8.0-cp310-cp310-musllinux_1_1_x86_64.whl (792.0 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.10 musllinux: musl 1.1+ x86-64

nvtabular-23.8.0-cp310-cp310-musllinux_1_1_i686.whl (851.5 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.10 musllinux: musl 1.1+ i686

nvtabular-23.8.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (284.5 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.10 manylinux: glibc 2.17+ x86-64

nvtabular-23.8.0-cp310-cp310-manylinux_2_17_i686.manylinux2014_i686.whl (293.4 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.10 manylinux: glibc 2.17+ i686

nvtabular-23.8.0-cp39-cp39-musllinux_1_1_x86_64.whl (793.1 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.9 musllinux: musl 1.1+ x86-64

nvtabular-23.8.0-cp39-cp39-musllinux_1_1_i686.whl (852.4 kB 查看哈希值)

上传时间：2023年8月29日 CPython 3.9 musllinux: musl 1.1+ i686

nvtabular-23.8.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (284.4 kB 查看哈希)

上传于 2023年8月29日 CPython 3.9 manylinux: glibc 2.17+ x86-64

nvtabular-23.8.0-cp39-cp39-manylinux_2_17_i686.manylinux2014_i686.whl (294.2 kB 查看哈希)

上传于 2023年8月29日 CPython 3.9 manylinux: glibc 2.17+ i686

nvtabular-23.8.0-cp38-cp38-musllinux_1_1_x86_64.whl (792.0 kB 查看哈希)

上传于 2023年8月29日 CPython 3.8 musllinux: musl 1.1+ x86-64

nvtabular-23.8.0-cp38-cp38-musllinux_1_1_i686.whl (851.4 kB 查看哈希)

上传于 2023年8月29日 CPython 3.8 musllinux: musl 1.1+ i686

nvtabular-23.8.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (284.3 kB 查看哈希)

上传于 2023年8月29日 CPython 3.8 manylinux: glibc 2.17+ x86-64

nvtabular-23.8.0-cp38-cp38-manylinux_2_17_i686.manylinux2014_i686.whl (292.8 kB 查看哈希)

上传于 2023年8月29日 CPython 3.8 manylinux: glibc 2.17+ i686

nvtabular-23.8.0.tar.gz的哈希值

nvtabular-23.8.0.tar.gz的哈希值
算法	哈希摘要
SHA256	`fef12f97ee5b3b2b3e9d71a1835bc08885893b908f5f44be5a60a756e867d92b`
MD5	`b7117c31ecd0be1c3b9b386a9b2bdace`
BLAKE2b-256	`d712b9eaf8e8e2ecb9f5b9191266769dcec02cfb6efafb09a0f2a10b773dc549`

nvtabular-23.8.0-cp311-cp311-musllinux_1_1_x86_64.whl的哈希值

nvtabular-23.8.0-cp311-cp311-musllinux_1_1_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`6540a22105da3a470e05a8026d1eed8684c2d3f2253f7eb3a427b6e95087ac50`
MD5	`9530a2c0ee4fa504c0804c06c6c0b53b`
BLAKE2b-256	`74799cbb204d39fe9014f75cf0aa6816d83539f71e8517e84bf3a91dfa71c477`

nvtabular-23.8.0-cp311-cp311-musllinux_1_1_i686.whl的哈希值

nvtabular-23.8.0-cp311-cp311-musllinux_1_1_i686.whl的哈希值
算法	哈希摘要
SHA256	`6b013a1653093120a371ed26681eb63e23495ec67a1ead7a43a11ad7232f3581`
MD5	`556437e44cc207b48626c4a9c43d03b8`
BLAKE2b-256	`58d0f3539483f68d613fcb7f3306410eb0fe80254f8aa1fc7fcc8c7da7486363`

nvtabular-23.8.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl的哈希值

nvtabular-23.8.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`2932a15a67d1384230a1eea00630fa47e5453897d043db917b4535b91fb98b49`
MD5	`cebb17ef40923c02a52d693981f6afec`
BLAKE2b-256	`a0a04cf33b5401fd91db74ca6f1f839866c8033c06b1351649b007d9b23cc587`

nvtabular-23.8.0-cp311-cp311-manylinux_2_17_i686.manylinux2014_i686.whl的哈希值

nvtabular-23.8.0-cp311-cp311-manylinux_2_17_i686.manylinux2014_i686.whl的哈希值
算法	哈希摘要
SHA256	`46bd42e38a15cc004d90867d7c96ae16dc57ce1360139b924eb7401b43996c42`
MD5	`cf8bff7cd8c5acb5bfa72ea5be9a5973`
BLAKE2b-256	`d9d1e60744ffc0a54e8a45a380c88d604a6be17d26fa138c8435fef34ef4dc87`

哈希值用于 nvtabular-23.8.0-cp310-cp310-musllinux_1_1_x86_64.whl

nvtabular-23.8.0-cp310-cp310-musllinux_1_1_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`047ffea09af3afa087abb191635d71bd07d5b489452b7c0562a00313c3b28a7b`
MD5	`cf107daa76c7f7a7ee88b67ea07a1077`
BLAKE2b-256	`1cc9913fe27a12d97c29d18501c104a4b9991d5c7ac3dcb84ac75116a234a64a`

哈希值用于 nvtabular-23.8.0-cp310-cp310-musllinux_1_1_i686.whl

nvtabular-23.8.0-cp310-cp310-musllinux_1_1_i686.whl 的哈希值
算法	哈希摘要
SHA256	`22e3d9d6fc0d71745c79dcff6b304315c4ac563f1054185b446006139b014f6d`
MD5	`65f9e4a5880dfeb8ff3207b8fada752c`
BLAKE2b-256	`af7ad25cf348c8666cd2bba2a3ac0ab43a7daf7d9b84efb1db7a5806636858bf`

哈希值用于 nvtabular-23.8.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

nvtabular-23.8.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`b9551525aef245a3cd79c32dea0f4b2de44ba587cddccf9151d1e93569bc572e`
MD5	`af31834f414dd895da59fb05cc9316f8`
BLAKE2b-256	`95ed8219cb32c1d7df0db2d3afe602d38d2788ba5e82d290363f25d3700b7cc8`

哈希值用于 nvtabular-23.8.0-cp310-cp310-manylinux_2_17_i686.manylinux2014_i686.whl

nvtabular-23.8.0-cp310-cp310-manylinux_2_17_i686.manylinux2014_i686.whl 的哈希值
算法	哈希摘要
SHA256	`9f774c83a30898830583f439ee5b11f380be2b6a3f850746d0df5bb654f20bbd`
MD5	`7b1d8424d1f18de74a22eaf56deeecfa`
BLAKE2b-256	`cbaba642af7e3c3cb64d89fffc63fefc6cf47c3e995b6ca03d6e35df3890e7f9`

哈希值用于 nvtabular-23.8.0-cp39-cp39-musllinux_1_1_x86_64.whl

nvtabular-23.8.0-cp39-cp39-musllinux_1_1_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`1c72c624b1317e37ddbbf8cfe66e9dc9e8627d8f29de450d1d2e1de89c4a7c75`
MD5	`694c4f4defdaa97a32f37f2cf5b0dae3`
BLAKE2b-256	`dbb083a362867d246e71d77effc968b99b5e8e90908fe318a41c41cc069c93b7`

哈希值用于 nvtabular-23.8.0-cp39-cp39-musllinux_1_1_i686.whl

nvtabular-23.8.0-cp39-cp39-musllinux_1_1_i686.whl 的哈希值
算法	哈希摘要
SHA256	`980fbbfdae64b5255edafff6716efd30c4220eff14d438636c2c6143290f5d98`
MD5	`bbfe658cfd3b7863e8a85fe7def5fc31`
BLAKE2b-256	`dbdd1a40fdeb0f95382a9ed6ab479b60d04c49d4612329fea4218ea741310781`

哈希值用于 nvtabular-23.8.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

nvtabular-23.8.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`cc33c5e7445c690ee766bf2c6995c378f6cb3ce98b1f61fe997f040ad608d798`
MD5	`c63e7937c9da1c7693dd34df1f3440d6`
BLAKE2b-256	`fd45462a2382dfbabc031ac83b5bcdeff28e28de8df720fdf84e86757c51bfa2`

哈希值用于 nvtabular-23.8.0-cp39-cp39-manylinux_2_17_i686.manylinux2014_i686.whl

nvtabular-23.8.0-cp39-cp39-manylinux_2_17_i686.manylinux2014_i686.whl 的哈希值
算法	哈希摘要
SHA256	`a44e25c0622fe414bae2dcf59a62661411246790328d7fc18042348e69aa9c12`
MD5	`4136172fab1f9a6289f128304cc2d850`
BLAKE2b-256	`988d22a4c0f92d90c24a9da0c04d87c91711dc5b84e96f059d8cb2a0f5dc1d1a`

哈希值用于 nvtabular-23.8.0-cp38-cp38-musllinux_1_1_x86_64.whl

nvtabular-23.8.0-cp38-cp38-musllinux_1_1_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`88be66f092325f09ddb8775975807441250d05bdcf3b144b7f94cf61f3834c13`
MD5	`2df295fcc7f06ed9781c88bfbfb39389`
BLAKE2b-256	`69bc87a92798826b28657851f8390ef2d0eb6b62659ff8813c66badcb1eb4697`

哈希值用于 nvtabular-23.8.0-cp38-cp38-musllinux_1_1_i686.whl

nvtabular-23.8.0-cp38-cp38-musllinux_1_1_i686.whl 的哈希值
算法	哈希摘要
SHA256	`7a0cc0e69ab26786d0553d345eb22fc837c5da3626129d091fcd996e1ee8e488`
MD5	`fe161357f067d8dafbd0641650af965f`
BLAKE2b-256	`b7789d7d81ec915b0267675c41797df0b85cbf1a12a9f35882fb2c6d7e17a2e6`

哈希值用于 nvtabular-23.8.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

nvtabular-23.8.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`96fe7820ba21b55ff80e2d13ad3c8676ba57bb68311f08aea794073c7915f000`
MD5	`2e62eaa6f62651085e735cc9d52d320c`
BLAKE2b-256	`6929c3ab9f43163dfe9f8ba6ec157497d77a97803fff171f78b8196aa5e4eaeb`

哈希值用于 nvtabular-23.8.0-cp38-cp38-manylinux_2_17_i686.manylinux2014_i686.whl

nvtabular-23.8.0-cp38-cp38-manylinux_2_17_i686.manylinux2014_i686.whl 的哈希值
算法	哈希摘要
SHA256	`443a818094838d6f368a53341efa2796b32762a516b1e726929bdeb27971fc24`
MD5	`53b43f52e9ae065ffe209b3ec1ba2903`
BLAKE2b-256	`8df1e459dcbac9dab8fa012c5865ce245acb54ee946f5462f7532bb4ab5bd0d5`

nvtabular 23.8.0

导航

已验证详情

维护者

未验证详情

项目链接

元数据

分类器

项目描述

NVTabular

优势

性能