`tap-fedidb` 是一个用于 FediDB 的 Singer tap,使用 Meltano SDK 构建。
项目描述
tap-fedidb
Singer tap for FediDB.org.
Built with the Meltano Tap SDK for Singer Taps.
功能
目录
状态
发现
关于
流映射
模式扁平化
批量
支持的 Python 版本
- 3.8
- 3.9
- 3.10
- 3.11
- 3.12
设置
此 tap 没有自己特有的设置,但它支持以下内置 SDK 设置
设置 | 必需 | 默认值 | 描述 |
---|---|---|---|
stream_maps | False | None | 流映射功能配置对象。更多信息请参阅流映射。 |
stream_map_config | False | None | 在映射表达式中使用的用户定义配置值。 |
faker_config | False | None | Faker 实例变量 fake 的配置,用于映射表达式。仅当插件指定 faker 作为附加依赖项(通过 singer-sdk 的 faker 附加或直接指定)时适用。 |
faker_config.seed | False | None | 用于确定输出结果的 Faker 生成器种子值:https://faker.readthedocs.io/zh/master/#seeding-the-generator |
faker_config.locale | False | None | 用于生成本地化输出的一个或多个 LCID 本地化字符串:https://faker.readthedocs.io/zh/master/#localization |
flattening_enabled | False | None | 'True' 用于启用模式简化并自动展开嵌套属性。 |
flattening_max_depth | False | None | 简化模式的最大深度。 |
batch_config | False | None | |
batch_config.encoding | False | None | 指定批量文件的格式和压缩方式。 |
batch_config.encoding.format | False | None | 用于批量文件的格式。 |
batch_config.encoding.compression | False | None | 用于批量文件的压缩格式。 |
batch_config.storage | False | None | 定义写入批量文件时要使用的存储层。 |
batch_config.storage.root | False | None | 写入批量文件时要使用的根路径。 |
batch_config.storage.prefix | False | None | 写入批量文件时要使用的前缀。 |
通过运行:tap-fedidb --about
可以获得支持的设置和功能完整列表。
源认证和授权
目前 FediDB API 不需要认证。
使用方法
您可以通过 Meltano 独自运行或以管道形式运行 tap-fedidb
。
直接执行 Tap
tap-fedidb --version
tap-fedidb --help
tap-fedidb --config CONFIG --discover > ./catalog.json
开发者资源
初始化开发环境
pipx install hatch
创建和运行测试
运行集成测试
hatch run test:integration
您还可以直接测试 tap-fedidb
CLI 界面
hatch run sync:console -- --about --format=json
使用 Meltano 进行测试
注意:此 Tap 适用于任何 Singer 环境,并且不需要 Meltano。这里提供的示例仅用于方便和简化端到端编排场景。
您的项目已包含一个自定义的 meltano.yml
项目文件。如果您尚未安装,请先安装 Meltano。
-
安装所有插件
meltano install
-
检查提取器是否正常工作
meltano invoke tap-fedidb --version
-
执行 ELT 管道
meltano run tap-fedidb target-jsonl
SDK 开发指南
有关如何使用 SDK 开发自己的 taps 和 targets 的更多说明,请参阅开发指南。
项目详情
下载文件
下载您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。
源分布
tap_fedidb-0.0.1a2.tar.gz (13.7 kB 查看哈希值)
构建分布
tap_fedidb-0.0.1a2-py3-none-any.whl (13.6 kB 查看哈希值)
关闭
tap_fedidb-0.0.1a2.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 9ee12755e4113dc412ed75a704be5907e694a97b8171a176e75370b43ecca493 |
|
MD5 | 0e9fd966a7655cc8e05242575f3a8ac2 |
|
BLAKE2b-256 | f81018eefc03d46d4216283c6eb74772dc4c66c1bb7c1d55511608c95cd76d50 |
关闭
tap_fedidb-0.0.1a2-py3-none-any.whl 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | db35924ddf157554be5a6b8d48672b86ff5ec166399da278f7b23738db4dedbe |
|
MD5 | e5648a4007d5923a40b6542ecb278379 |
|
BLAKE2b-256 | 710bd9e3085c2633741c6c260dc14985387b34ef0e3d033329ae4b16dd602659 |