跳转到主要内容

未提供项目描述

项目描述

plateau

平坦文件,平坦土地

Build Status Documentation Status codecov.io License: MIT Anaconda-Server Badge Anaconda-Server Badge

plateau 是一个Python库,用于管理(创建、读取、更新、删除)大量表格数据。它将数据存储为数据集,并以pandas DataFrame的形式向用户呈现。数据集是一组具有相同模式的文件集合,位于blob存储中。plateau使用元数据定义来有效地处理这些数据集。为了分布式访问和处理数据集,plateau提供了一个 Dask 接口。

将分布在不同文件中的数据存储在blob存储(S3、ABS、GCS等)中,允许快速、成本效益和高度可扩展的数据基础设施。仅将数据存储在对象存储中的缺点是存储本身提供的保证很少,甚至没有,超出了单个文件的一致性。特别是,它们无法保证数据集的一致性。如果我们要求数据集始终保持一致状态,我们需要跟踪数据集的状态。plateau使我们免于手动执行此操作。

plateau.io 模块提供了创建和修改这些数据集的构建块。plateau处理I/O,跟踪数据集分区并透明地选择数据子集。

安装

最新发布版本的安装程序可在Python软件包索引和conda-forge上找到。

# Install with pip
pip install plateau
# Install with conda/micromamba, optionally add conda-forge as a source
# conda config --add channels conda-forge
conda install plateau
micromamba install plateau

项目详情


下载文件

下载适合您平台的文件。如果您不确定该选择哪个,请了解更多关于安装软件包的信息。

源代码分发

plateau-4.4.0.tar.gz (857.1 kB 查看哈希值)

上传时间 源代码

构建分发

plateau-4.4.0-py3-none-any.whl (136.3 kB 查看哈希值)

上传时间 Python 3

由以下支持