KvikIO: 高性能文件IO

摘要

KvikIO是一个Python和C++库，用于高性能文件IO。它提供了对cuFile的C++/Python绑定，从而实现了GPUDirect Storage (GDS)。当GDS不可用时，KvikIO也能高效工作，并能够无缝地读写主机和设备数据。C++库是头文件只包含的，使其很容易包含在现有项目中。

功能

• 具有C++/Python异常处理的cuFile面向对象的API。
• 用于无缝读写GPU数据的Python Zarr后端。
• 使用内部线程池进行并发读写。
• 非阻塞API。
• 无缝处理主机和设备IO。
• 提供对nvCOMP的Python绑定。

文档

• Python: https://docs.rapids.ai/api/kvikio/nightly/
• C++: https://docs.rapids.ai/api/libkvikio/nightly/