构建 AWS 服务日志分析管道
日志通支持通过日志分析管道将 AWS 服务日志摄取到 Amazon OpenSearch Service。您可以使用 日志通网页控制台 或通过 独立 CloudFormation 模板构建日志分析管道。
日志通读取数据源、解析、清理或丰富、和摄取日志到 Amazon OpenSearch Service 域进行分析。此外，该解决方案提供模板化的仪表板便于日志可视化。
Amazon OpenSearch Service 服务适用于实时日志分析和频繁查询，并具有全文搜索功能。
从2.1.0版本开始，该解决方案开始支持将日志摄取到 Light Engine，适用于非实时日志分析和非频繁的查询，并具有类似SQL的搜索功能。AWS CloudTrail 日志、Amazon RDS 日志、Amazon CloudFront 日志、ALB 日志、AWS WAF 日志和 VPC Flow 日志目前支持 Light Engine。
重要
- AWS 托管服务必须与日志通位于同一区域。
- 默认情况下，该解决方案将每天轮换索引。您可以在额外设置中进行调整。
支持的 AWS Services
大多数 AWS 托管服务将日志输出到 Amazon CloudWatch Logs、Amazon S3、Amazon Kinesis Data Streams 或 Amazon Kinesis Firehose。
下表列出了支持的 AWS 服务和相应的功能。
| AWS Service | 日志类型 | 支持 OpenSearch Engine | 支持 Light Engine |
|---|---|---|---|
| AWS CloudTrail | N/A | 是 | 是 |
| Amazon S3 | Access logs | 是 | 否 |
| Amazon RDS/Aurora | MySQL Logs | 是 | 是 |
| Amazon CloudFront | Standard access logs | 是 | 是 |
| Application Load Balancer | Access logs | 是 | 是 |
| AWS WAF | Web ACL logs | 是 | 是 |
| AWS Lambda | N/A | 是 | 否 |
| Amazon VPC | Flow logs | 是 | 是 |
| AWS Config | N/A | 是 | 是 |
该解决方案支持自动检测资源的日志位置，读取日志，然后将其摄取到日志分析引擎中。该解决方案还为所有支持的AWS服务提供即用型的仪表板模板。它将自动摄取到日志分析引擎中。在管道被配置之后，您可以前往OpenSearch Dashboards或Grafana查看仪表板。
在本章中，您将学习如何为以下 AWS 服务创建日志摄取并查看仪表板：
- AWS CloudTrail
- Amazon S3
- Amazon RDS/Aurora
- Amazon CloudFront
- AWS Lambda
- Elastic Load Balancing
- AWS WAF
- Amazon VPC
- AWS Config
跨区域日志导入
在一个区域中部署使用 OpenSearch 的集中式日志功能后，该解决方案允许您处理来自另一个区域的服务日志。
注意
对于 Amazon RDS/Aurora 和 AWS Lambda 服务日志，不支持此功能。
重要
服务所在的区域被称为“源区域”，而部署有 OpenSearch 集中式日志控制台的区域被称为“日志区域”。
对于 AWS CloudTrail，您可以创建一个新的日志跟踪，将日志发送到日志区域的 S3 存储桶中，并且您可以在列表中找到 CloudTrail。要了解如何创建新的跟踪，请参阅创建跟踪。
对于其他将日志存储在 S3 存储桶中的服务，您可以手动将日志传输到日志区域的 S3 存储桶中（例如，使用 S3 跨区域复制功能）。
您可以按照以下步骤实施跨区域日志记录：
-
将另一个区域中的服务日志位置设置为日志区域（例如 Amazon WAF），或使用 跨区域复制 (CRR) 将日志从源区域自动复制到日志区域。
-
在解决方案控制台中，选择左侧导航窗格中的 AWS 服务日志，然后选择 创建一个管道。
-
在 选择 AWS 服务 区域，从列表中选择一个服务，然后选择 下一步。
-
在 创建方法 中，选择 手动，然后输入资源名称和 S3 日志位置参数，然后选择 下一步。
-
根据需要设置 OpenSearch 域 和 日志生命周期，然后选择 下一步。
-
如果需要，添加标签，然后选择 下一步 创建管道。
然后，您可以使用 OpenSearch 仪表板发现日志并查看仪表板。