CSVS Convert

快速将CSV文件转换为XLSX/SQLITE/POSTGRESQL/PARQUET。

安装

pip install csvs_convert

文档

完整文档

目标

• 彻底猜测CSV列的类型，因此无需为每个字段配置类型。首先扫描整个文件，以确保列中的所有类型都一致。还可以检测30多种日期/时间格式以及JSON数据。
• 快速转换/类型猜测（底层使用rust）。使用针对每种输出格式特定的快速方法
  • 为PostgreSQL使用copy
  • 使用c API为sqlite准备语句。
  • 为parquet使用Arrow reader。
  • 为libxlsxwriter使用仅写入模式。
• 尝试通过在无法确定更具体的类型时使用"text"来限制插入数据库时的错误。
• 在向现有数据库插入时，自动迁移目标数据库的模式以允许新数据（使用evolve选项）。
• 内存高效。所有csvs和输出都是流式传输的，因此所有转换应该占用非常少的内存。
• 将关于CSV文件的数据和统计信息收集到datapackage.json文件中，该文件可用于自定义转换。

缺点

• CSV文件当前需要标题行。
• 整个文件需要位于磁盘上，因为整个CSV文件被分析，因此文件被读取两次。

转换文档

这是一个Python库，提供了对rust库的绑定。

在github上贡献

从CSV文件使用方法。

import csvs_convert

#sqlite
csvs_convert.csvs_to_sqlite("sqlite.db", ["file.csv"])
#postgres
csvs_convert.csvs_to_postgres("postgresql://user:postgres@localhost/db", ["file.csv"])
#parquet
csvs_convert.csvs_to_parquet("output", ["file.csv"])
#xlsx
csvs_convert.csvs_to_xlsx("output.xlsx", ["sqlite.db"])

从数据包使用方法

数据包是一个包含其表元数据的文件，其规范在这里描述。

要生成datapackage.json文件，您可以使用

csvs_convert.csvs_to_datapackage('path/to/datapackage.json', ["fixtures/large/csv/data.csv"])

其他工具也可以生成这些文件。

您可以使用此文件并根据需要对其进行修改。如果您想在多个文件中使用相同的模式，这非常有用，因为它将节省时间，无需为每个文件进行类型猜测。

在引用数据包时，您可以引用

• datapackage.json文件。
• 包含datapackage.json文件的数据包目录。例如：/a/datapackage/dir
• 包含datapackage.json文件的zip文件。例如：my_datapackage.zip

示例

import csvs_convert

#sqlite
csvs_convert.datapackage_to_sqlite("sqlite.db", "path/to/datapackage.json")
#postgres
csvs_convert.datapackage_to_postgres("postgresql://user:postgres@localhost/db", "path/to/datapackage.json")
#parquet
csvs_convert.datapackage_to_parquet("path/to/directory", ["sqlite.db"])
#xlsx
csvs_convert.datapackage_to_xlsx("output.xlsx", "path/to/datapackage.json")