target-postgres

Singer针对PostgreSQL数据库的目标。

使用Meltano SDK构建，适用于Singer Taps和Targets。

功能

• 关于
• 流映射
• 模式展平
• 验证记录
• 目标模式
• 硬删除

设置

运行以下命令可以获取支持的设置和功能的完整列表：target-postgres --about

内置设置

以下设置由 Meltano SDK 自动支持，并由本目标继承。

关于生成伪数据的通知

如果您需要访问流映射表达式中的 faker 实例，您需要将插件作为附加依赖项安装。

如果您正在使用 Meltano，您可以将 faker 附加到您的 meltano.yml 中，如下所示

1. 如果您从 PyPI 安装插件

pip_url: "meltanolabs-target-postgres[faker]==<version>"

2. 如果您从 Git 存储库安装插件

# Note the nested quotes
pip_url: "'meltanolabs-target-postgres[faker] @ git+https://github.com/MeltanoLabs/target-postgres.git@<ref>'"

安装

使用 pipx

pipx install meltanolabs-target-postgres

使用 uv

uv tool install meltanolabs-target-postgres

配置

各种 SSL 配置选项的解释

存在两种不同的过程，它们都隶属于SSL的范畴。第一种过程发生在客户端希望确保服务器身份的情况下，这是SSL更常见的使用原因。另一种是服务器希望确保客户端身份，用于身份验证/授权目的。

如果您的服务器已设置证书和私钥，并且您想将其证书与您拥有的根证书进行验证，请使用 ssl_enable。然后，您可以使用 ssl_certificate_authority 和 ssl_mode 设置进一步自定义此过程。有关更多详细信息，请参阅文档。

如果您的服务器已设置根证书，并且您想向服务器提供证书以验证您的身份，请使用 ssl_client_certificate_enable。然后，您可以使用 ssl_client_certificate 和 ssl_client_private_key 设置进一步自定义此过程。有关更多详细信息，请参阅文档。

使用环境变量进行配置

如果提供了 --config=ENV，则此Singer目标将自动导入工作目录的 .env 文件中的任何环境变量，这样就会考虑配置值，如果终端上下文或 .env 文件中设置了匹配的环境变量。

源认证和授权

提供的数据库账户必须有权访问

1. 创建模式
2. 创建表（DDL）
3. 将数据推送到表中（DML）

用法

您可以通过单独运行或使用 Meltano 管道来轻松运行 target-postgres。

直接执行目标

target-postgres --version
target-postgres --help
# Test using the "Carbon Intensity" sample:
pipx install git+https://gitlab.com/meltano/tap-carbon-intensity
tap-carbon-intensity | target-postgres --config /path/to/target-postgres-config.json

使用Docker Compose

docker-compose.yml 提供了使用 Docker 创建两个空样本数据库的命令。这些可以作为创建自己的Docker中运行的数据库的起点，或者用于运行tap的内置测试。

开发者资源

初始化您的开发环境

pipx install poetry
poetry install
pipx install pre-commit
pre-commit install

设置SSL文件

我们将提供的密钥设置在 .ssl 目录中，使其有效期为数个世纪。然而，我们还提供了以下配置说明，以创建所有必要的测试SSL文件。

每个文件及其用途的列表

1. ca.crt: 客户端证书的CA（存储在服务器上）
2. cert.crt: 客户端证书（存储在客户端）
3. pkey.key: 客户端私钥（存储在客户端）
4. public_pkey.key: 客户端私钥（文件权限不正确）（存储在客户端）
5. root.crt: 服务器证书的CA（存储在客户端）
6. server.crt: 服务器证书（存储在服务器上）
7. server.key: 服务器私钥（存储在服务器上）

运行以下命令以生成所有相关SSL文件，证书有效期为两个世纪（73048天）。

openssl req -new -x509 -days 73048 -nodes -out ssl/server.crt -keyout ssl/server.key -subj "/CN=localhost" &&
openssl req -new -x509 -days 73048 -nodes -out ssl/cert.crt -keyout ssl/pkey.key -subj "/CN=postgres" &&
cp ssl/server.crt ssl/root.crt &&
cp ssl/cert.crt ssl/ca.crt &&
cp ssl/pkey.key ssl/public_pkey.key &&
chown 999:999 ssl/server.key &&
chmod 600 ssl/server.key &&
chmod 600 ssl/pkey.key &&
chmod 644 ssl/public_pkey.key

现在所有SSL文件都已设置，您就可以设置pytest测试了。

创建和运行测试

使用Docker Compose启动测试数据库

docker-compose up -d

在 target_postgres/tests 子目录中创建测试，然后运行

poetry run pytest

您还可以使用 poetry run 直接测试 target-postgres CLI接口

poetry run target-postgres --help

使用 Meltano 进行测试

注意：此目标在任何Singer环境中都可以工作，且不需要Meltano。此处提供的示例仅供参考，以便简化端到端编排场景。

您的项目已包含一个自定义的 meltano.yml 项目文件。

接下来，安装Meltano（如果您还没有安装）和任何需要的插件

# Install meltano
pipx install meltano
# Initialize meltano within this directory
meltano install

现在您可以使用Meltano进行测试和编排

# Test invocation:
meltano invoke target-postgres --version

SDK开发指南

请参阅开发指南以获取更多有关如何使用Meltano SDK开发自己的Singer插件和目标的信息。

数据类型

以下表格显示了此插件如何将jsonschema数据类型映射到Postgres数据类型。

注意，虽然对象类型直接映射到jsonb，数组类型则映射到jsonb数组。

如果一个列有多个jsonschema类型，以下顺序用于确定Postgres类型的优先级，从最高优先级到最低优先级。

• BYTEA
• ARRAY(JSONB)
• JSONB
• TEXT
• TIMESTAMP
• DATETIME
• DATE
• TIME
• DECIMAL
• BIGINT
• INTEGER
• BOOLEAN
• NOTYPE

内容编码支持

Json Schema支持contentEncoding关键字，可用于指定输入字符串类型的编码。

此目标可以检测模式中的内容编码线索，以确定如何在Postgres中以更高效的方式存储数据。

内容编码解释默认禁用。这是因为默认配置旨在尽可能宽容，不假设可能导致数据丢失的数据。

但是，如果您知道您的数据遵循所宣传的内容编码方式，您可以启用此功能以获得更好的性能和存储效率。

要启用它，将interpret_content_encoding选项设置为True。

base16

字符串使用RFC 4648中定义的base16编码。

示例模式

{
  "type": "object",
  "properties": {
    "my_hex": {
      "type": "string",
      "contentEncoding": "base16"
    }
  }
}

数据将在数据库中以bytea的形式存储。

示例数据

# valid data
{ "my_hex": "01AF" }
{ "my_hex": "01af" }
{ "my_hex": "1af" }
{ "my_hex": "0x1234" }

# invalid data
{ "my_hex": " 0x1234 " }
{ "my_hex": "House" }

为了方便，支持以0x开头或包含奇数个字符的数据，尽管这不是标准的一部分。