Cloud Custodian - Cloud Watch Log S3导出器
项目描述
c7n-log-exporter: 云监控日志导出器自动化
一个轻量级无服务器应用程序，用于将跨账户的云日志存档到归档存储桶。它利用云日志导出到S3功能进行历史导出。
它还支持Kinesis流/Firehose，以实时导出，格式与定期历史导出相同。
功能
- 通过正则表达式过滤日志组
- 基于先前同步日期的增量支持
- 基于最后一个日志组写入时间的增量支持
- 通过STS角色假定跨账户
- 支持Lambda和CLI。
- 基于天分的日志分割（输出密钥看起来像$prefix/$account_id/$group/$year/$month/$day/$export_task_uuid/$stream/$log）
假设
- 归档存储桶已经具有适当的存储桶策略权限。有关详细信息，请参阅：https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/S3ExportTasks.html#S3Permissions
- 将日志组存档到S3的默认周期为每天。
- 导出器使用具有访问归档s3存储桶权限的账户凭据运行。
- 在lambda中不运行增量归档（先进行命令行运行）
命令行使用方法
make install
您可以通过export子命令在单个账户/日志组上运行
c7n-log-exporter export --help
配置格式
为了便于在多个账户上运行，可以指定一个配置文件，例如。
使用S3存储桶作为目标
destination:
bucket: custodian-log-archive
prefix: logs2
accounts:
- name: custodian-demo
role: "arn:aws:iam::111111111111:role/CloudCustodianRole"
groups:
- "/aws/lambda/*"
- "vpc-flow-logs"
使用CloudWatch目标作为跨账户的目标
CloudWatch目标需要在账户中进行设置，并设置CloudWatch目标的访问策略，以允许源账户访问CloudWatch目标
subscription:
destination-arn: "arn:aws:logs:us-east-1:111111111111:destination:CustodianCWLogsDestination"
destination-role: "arn:aws:iam::111111111111:role/CWLtoKinesisRole"
name: "CustodianCWLogsDestination"
destination:
bucket: custodian-log-archive
prefix: logs2
accounts:
- name: custodian-demo
# https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CreateSubscriptionFilter-IAMrole.html
subscription-role: "arn:aws:iam::111111111111:role/<role-name>"
role: "arn:aws:iam::111111111111:role/CloudCustodianRole"
groups:
- "/aws/lambda/*"
- "vpc-flow-logs"
通过命令行使用多个账户
要在命令行上跨多个账户运行，请编辑config.yml以指定多个账户和日志组。
c7n-log-exporter run --config config.yml
无服务器使用方法
编辑config.yml以指定要使用的账户、归档存储桶和日志组。
make install
make deploy
下载文件
下载适用于您的平台文件。如果您不确定选择哪个，请了解更多关于安装包的信息。
源代码分发
此版本没有可用的源代码分发文件。请参阅生成分发存档的教程。
构建的分发
c7n_logexporter-0.4.40-py3-none-any.whl (14.1 kB 查看散列)
关闭
c7n_logexporter-0.4.40-py3-none-any.whl的散列
| 算法 | 散列摘要 | |
|---|---|---|
| SHA256 | bd33388d7e9f22b3d5a8c1b7051e510f66037e1181957949c07f51c7116114d9 |
|
| MD5 | 99bff830b037184e4bfc62fbba563e4f |
|
| BLAKE2b-256 | 22331b34d81e8198720b6ffa55fb7f8e2f244b18f7d715f96e3148129de479f2 |
