服务日志分析管道

日志通 支持对 AWS 服务的日志进行分析，例如 Amazon S3 访问日志和应用程序负载均衡器访问日志。有关受支持的 AWS 服务的完整列表，请参阅支持的 AWS 服务。

此解决方案使用不同的工作流摄取不同的 AWS 服务日志。

注意

使用 日志通 支持跨账户日志摄取。如果您想从另一个 AWS 账户摄取日志，则架构图中源组中的资源将位于成员账户中。

通过 Amazon S3 收集日志

许多 AWS 服务支持直接将日志传送到 Amazon S3，或通过其他服务传送。工作流支持三种场景：

在此场景中，服务直接将日志发送到 Amazon S3。此架构适用于以下日志源：

基于 Amazon S3 的服务日志管道架构

在此场景中，服务无法直接将其日志放置到 Amazon S3 中。日志被发送到 Amazon CloudWatch，并且使用 Kinesis Data Firehose（KDF）订阅来自 CloudWatch 日志组的日志，然后将日志放入 Amazon S3。此架构适用于以下日志源：

基于 Amazon S3（通过 KDF）的服务日志管道架构

日志管道运行以下工作流程：

对于跨账户摄取，AWS 服务将日志存储在成员账户的 Amazon S3 存储桶中，其他资源保留在中央日志账户中。

在此场景中，服务直接将日志发送到 Amazon S3。此架构适用于以下日志源：

基于 Amazon S3 的服务日志管道架构

日志管道运行以下工作流程：

AWS 服务日志存储在 Amazon S3 存储桶（日志存储桶）中。
创建新日志文件时，使用 S3 事件通知将事件通知发送到 Amazon SQS。
Amazon SQS 启动 AWS Lambda。
AWS Lambda 将对象从日志存储桶复制到暂存桶。
日志处理器，AWS Step Functions，批处理处理暂存桶中存储的原始日志文件。它将它们转换为 Apache Parquet 格式，并根据包括时间和地区在内的标准自动对所有传入数据进行分区。

一些 AWS 服务支持将日志传送到 Amazon Kinesis Data Streams。工作流支持两种场景：

在此场景中，服务直接将日志流式传输到 Amazon Kinesis Data Streams。此架构适用于以下日志源：

基于 Amazon KDS 的服务日志管道架构

警告

此解决方案不支持 CloudFront 实时日志的跨账户摄取。

在此场景中，服务将日志传送到 CloudWatch 日志组，然后 CloudWatch Logs 将日志实时流式传送到 Kinesis Data Streams 作为订阅目标。此架构适用于以下日志源：

基于 Kinesis Data Streams 订阅的服务日志管道架构

日志管道运行以下工作流程：

对于跨账户摄取，AWS 服务将日志存储在成员账户的 Amazon CloudWatch 日志组中，其他资源保留在中央日志账户中。