Singer tap for DBF files
项目描述
tap-dbf
Singer tap for the dBase文件格式.
配置
| 设置 | 必需 | 默认 | 描述 |
|---|---|---|---|
| path | True | None | 文件所在的Glob表达式。流名称将从文件名中提取。 |
| fs_root | False | file:// | 要从中读取的文件系统的根。 |
| ignore_missing_memofile | False | 0 | 是否在memofile不存在的情况下继续读取文件。 |
| s3 | False | None | S3配置。 |
| s3.key | False | None | AWS密钥ID。 |
| s3.secret | False | None | AWS密钥。 |
| s3.endpoint_url | False | None | S3端点URL。 |
| gcs | False | None | GCS配置。 |
| gcs.token | False | None | GCS的OAuth 2.0令牌。 |
| stream_maps | False | None | 用于流映射功能的配置对象。更多信息请参阅流映射。 |
| stream_map_config | False | None | 在映射表达式中使用的用户定义的配置值。 |
| faker_config | False | None | 用于映射表达式中Faker实例变量fake的配置。仅当插件指定faker作为额外依赖项（通过singer-sdk的faker额外或直接）时适用。 |
| faker_config.seed | False | None | 用于初始化Faker生成器以获得确定性输出的值：https://faker.readthedocs.io/en/master/#seeding-the-generator |
| faker_config.locale | False | None | 一个或多个LCID区域字符串，用于生成本地化输出：https://faker.readthedocs.io/en/master/#localization |
| flattening_enabled | False | None | 设置为“True”以启用架构扁平化和自动展开嵌套属性。 |
| flattening_max_depth | False | None | 扁平化架构的最大深度。 |
| batch_config | False | None | |
| batch_config.encoding | False | None | 指定批量文件的格式和压缩。 |
| batch_config.encoding.format | False | None | 用于批量文件的格式。 |
| batch_config.encoding.compression | False | None | 用于批量文件的压缩格式。 |
| batch_config.storage | False | None | 定义写入批量文件时使用的存储层。 |
| batch_config.storage.root | False | None | 写入批量文件时使用的根路径。 |
| batch_config.storage.prefix | False | None | 写入批量文件时使用的前缀。 |
JSON示例
{
"path": "tests/data/files/*.dbf",
"ignore_missing_memofile": true
}
文件系统
本地
示例配置
{
"path": "/files/*.dbf",
"fs_root": "file://data",
"ignore_missing_memofile": true
}
fs_root密钥是可选的，默认为当前工作目录
{
"path": "data/files/*.dbf",
"ignore_missing_memofile": true
}
S3
您需要安装带有s3额外功能的包
pip install 'tap-dbf[s3]'
示例配置
{
"path": "/*.dbf",
"fs_root": "s3://files",
"ignore_missing_memofile": true,
"s3": {
"key": "someKey",
"secret": "someSecret",
"endpoint_url": "https://:9000"
}
}
Google Cloud Storage
您需要安装带有gcs额外功能的包
pip install 'tap-dbf[gcs]'
示例配置
{
"path": "/*.dbf",
"fs_root": "gcs://files",
"ignore_missing_memofile": true,
"gcs": {
"token": "cloud"
}
}
有关token密钥的更多信息，请参阅https://gcsfs.readthedocs.io/en/latest/#credentials
路线图
- Google Drive文件系统
- Dropbox文件系统
下载文件
下载适用于您的平台的文件。如果您不确定选择哪个，请了解有关安装包的更多信息。
源分发
tap_dbf-0.1.9.tar.gz (15.6 kB 查看哈希)
构建分发
tap_dbf-0.1.9-py3-none-any.whl (11.8 kB 查看哈希)