VPC 流日志

VPC 流日志 可以让您可以捕获有关传入和传出您的 VPC 中网络接口的 IP 流量的信息。

创建日志摄取

您可以使用日志通控制台或通过部署独立的 CloudFormation 堆栈来将日志摄取到 Amazon OpenSearch Service 中。

重要

• 日志通目前支持将流日志数据发布到 Amazon S3 或 CloudWatch 日志组的 VPC；在发布到S3的场景下，该 S3 桶必须与日志通位于同一区域。
• 默认情况下，该解决方案将每天轮换索引。您可以在额外设置中进行调整。

使用日志通控制台

1. 登录日志通控制台。
2. 在导航窗格中的 日志分析管道 下，选择 AWS 服务日志。
3. 选择创建日志摄取按钮。
4. 在 AWS 服务 部分，选择 VPC Flow 日志。
5. 选择下一步。
6. 在 指定设置 下，为 S3启用访问日志 选择 自动 或 手动。如果尚未启用日志记录，自动模式将启用 VPC 流日志并将日志保存到集中式 S3 存储桶。
   • 对于 自动模式，从下拉列表中选择 VPC。
   • 对于 手动模式，输入 VPC 名字 和 VPC 流日志位置。
   • (可选步骤) 如果需要跨账户摄取日志，需要先在 账户 的下拉列表中选择一个链接的 AWS 账户。
7. 在 日志来源 中，选择 S3 或者 CloudWatch 作为日志源。
8. 选择下一步。
9. 在 指定 OpenSearch 域 部分，为 Amazon OpenSearch 域 选择一个导入的域。
10. 如果要摄取关联的内置 Amazon OpenSearch Service 仪表板，请为 示例仪表板 选择 是。
11. 如果需要，您可以更改目标 Amazon OpenSearch Service 索引的 索引前缀。默认前缀是您的 VPC 名称。
12. 在 日志生命周期 部分，输入管理 Amazon OpenSearch Service 索引生命周期的天数。日志通 将为此管道自动创建关联的 索引状态管理 (ISM) 策略。
13. 在 选择日志处理器 部分，请选择日志处理器。
    • （可选）这些区域现在支持 OSI 作为日志处理器。 当选择 OSI 时，请输入 OCU 的最小和最大数量。 请参阅此处 的更多信息。
14. 选择下一步。
15. 如果需要，添加标签。
16. 选择创建。

使用 CloudFormation 堆栈

此自动化 AWS CloudFormation 模板在 AWS 云中部署 日志通- VPC Flow Logs Ingestion 解决方案。

	在 AWS 控制台中启动	下载模板
AWS 海外区域		Template
AWS 中国区域		Template

1. 登录 AWS 管理控制台并选择以上按钮以启动 AWS CloudFormation 模板。您还可以下载模板开始部署。

2. 要在不同的 AWS 区域中启动堆栈，请使用控制台导航栏中的区域选择器。

3. 在 创建堆栈 页面上，验证正确的模板 URL 显示在 Amazon S3 URL 文本框中，然后选择 下一步。

4. 在 指定堆栈详细信息 页面上，为您的解决方案堆栈分配一个名称。

5. 在 参数 下，查看模板的参数并根据需要进行修改。此解决方案使用以下默认值。

   参数	默认	描述
   Log Bucket Name	<需要输入>	存储日志的 S3 存储桶名称。
   Log Bucket Prefix	<需要输入>	存储日志的 S3 存储桶路径前缀。
   Log Source Account ID	<可选输入>	存储日志的 S3 存储桶所在账户 ID. 对于跨账户日志摄取是必填 (需要先 添加一个成员账户)。 默认情况下，会使用您在 步骤 1 中登录的账户 ID。
   Log Source Region	<可选输入>	存储日志的 S3 存储桶所在的区域。 默认情况下，会使用您在 步骤 2 中指定的区域。
   Log Source Account Assume Role	<可选输入>	跨账户日志摄取所需要使用的 IAM Role。 对于跨账户日志摄取是必填 (需要先 添加一个成员账户)。
   Engine Type	OpenSearch	OpenSearch 的引擎类型。选择 OpenSearch 或 Elasticsearch。
   OpenSearch Domain Name	<需要输入>	Amazon OpenSearch 集群的域名。
   OpenSearch Endpoint	<需要输入>	OpenSearch 端点 URL。例如，vpc-your_opensearch_domain_name-xcvgw6uu2o6zafsiefxubwuohe.us-east-1.es.amazonaws.com。
   Index Prefix	<需要输入>	日志的 OpenSearch 索引的公共前缀。索引名称将为 <Index Prefix>-<Log Type>-<Other Suffix>。
   Create Sample Dashboard	Yes	是否创建示例 OpenSearch 仪表板。
   VPC ID	<需要输入>	选择可以访问 OpenSearch 域的 VPC。日志处理 Lambda 将驻留在选定的 VPC 中。
   Subnet IDs	<需要输入>	选择至少两个可以访问 OpenSearch 域的子网。日志处理 Lambda 将驻留在子网中。确保子网可以访问 Amazon S3 服务。
   Security Group ID	<需要输入>	选择将与日志处理 Lambda 关联的安全组。确保安全组有权访问 OpenSearch 域。
   S3 Backup Bucket	<需要输入>	用于存储失败提取日志的 S3 备份存储桶名称。
   KMS-CMK ARN	<可选输入>	用于加密的 KMS-CMK ARN。 留空以创建新的 KMS CMK。
   Number Of Shards	5	将索引均匀分布在所有数据节点上的分片数。将每个分片的大小保持在 10-50 GiB 之间。
   Number of Replicas	1	OpenSearch 索引的副本数。每个副本都是索引的完整副本。
   Age to Warm Storage	<可选输入>	将索引移至温存储所需的时间（例如 7d）。索引时间是从创建到现在之间的时间。支持的单位是 d（天）和 h（小时）。仅当OpenSearch 中启用了温存储时才生效。
   Age to Cold Storage	<可选输入>	将索引移入冷存储所需的时间（例如 30d）。索引时间是从创建到现在之间的时间。支持的单位是 d（天）和 h（小时）。仅当 OpenSearch 中启用了冷存储时才生效。
   Age to Retain	<可选输入>	保留索引的时间（例如 180d）。索引时间是从创建到现在之间的时间。支持的单位是 d（天）和 h（小时）。如果值为空，则不会删除该索引。
   Rollover Index Size	<可选输入>	索引滚动所需的分片大小（例如 30GB）。
   Index Suffix	yyyy-MM-dd	索引后缀格式（例如：yyyy-MM-dd、yyyy-MM-dd-HH）。索引名称将为 <Index Prefix>-<Log Type>-<Index Suffix>-000001。
   Compression type	best_compression	用于压缩存储数据的压缩类型。 可用值为 best_compression 和 default。
   Refresh Interval	1s	索引多久刷新，即刷新索引最近的更改数据并使它们可用于搜索。 可以设置为 -1 以禁用刷新。 默认为 1秒。
   EnableS3Notification	True	一个二进制选项，用于启用或禁用针对Amazon S3存储桶的通知。大多数情况下，建议使用默认选项。
   LogProcessorRoleName	<可选>	为日志处理器指定一个角色名称。该名称不能与现有角色名称重复。如果没有指定名称，将生成一个随机名称。可选参数，不是必填项。
   QueueName	<可选>	为SQS指定一个队列名称。该名称不能与现有角色名称重复。如果没有指定名称，将生成一个随机名称。可选参数，不是必填项。

6. 选择下一步。

7. 在 配置堆栈选项 页面上，选择 下一步。

8. 在 审核 页面上，查看并确认设置。选中确认模板创建 AWS Identity and Access Management (IAM) 资源的复选框。

9. 选择 创建堆栈 部署堆栈。

您可以在 AWS CloudFormation 控制台的 状态 列中查看堆栈的状态。正常情况下，您大约 10 分钟后会看到 CREATE_COMPLETE 状态。

查看仪表板

该仪表板包括以下可视化图表。

可视化名称	源字段	描述
Global Filters	account-id region vpc-id subnet-id action flow-direction log-status protocol-code type	根据帐户 ID、区域、VPC ID 和其他条件筛选图表。
Total Requests	log event	显示选定时间段内 VPC 流日志记录的网络请求总数。
Request History	log event	提供一个柱状图，显示随时间分布的事件情况。
Requests By VPC ID	vpc-id	使用饼图显示根据源 VPC 的比例分布的网络请求。
Total Requests By Action	action	显示随时间段划分的按操作分段的请求总量。
Total Bytes	bytes	提供对受监控的 VPC、子网、网络接口和安全组中整体带宽使用和流量模式的可见性。
Total Packets	packets	显示随时间的总记录数据包，以可视化趋势、高峰和低谷。
Bytes Metric	bytes flow-direction	在特定时间段内，根据流日志记录的一系列流中的传入（入口）和传出（出口）网络流量的字节分布。
Requests By Direction	flow-direction	提供传入与传出请求的比例组成的可见性。
Total Requests By Type	type	显示每种类型的流量量。这提供了对穿越环境的网络请求的协议组成的可见性。
Top Source Bytes	srcaddr bytes	在所选时间段内显示传输出最高数据量的源 IP 地址。
Top Destination Bytes	dstaddr bytes	使您能够监视和分析从您的 VPC 到外部目标的出站流量。
Top Source Requests	srcaddr	允许您查看在您的 VPC 内部哪些资源发起了外部请求。
Top Destination Requests	dstaddr	允许您查看哪些外部主机受到您的 VPC 资源的最多联系。
Requests by Protocol	protocol-code	显示按流量类型（TCP、UDP、ICMP 等）分割的 VPC 流日志记录的网络流。
Requests by Status	log-status	通过流量状态（已接受、已拒绝或其他）对网络流进行了分解。
Top Sources AWS Services	pkt-src-aws-service	显示来自顶级 AWS 源（如 S3、CloudFront、Lambda 等）的流的比例分布，以选定的时间段为基础。
Top Destination AWS Services	pkt-dst-aws-service	通过在 VPC 子网/接口上启用流日志，并在以 ACCEPT 操作为过滤条件的情况下，筛选出从您的 VPC 到各种 AWS 服务的出站流量，可以查看从您的 VPC 到各种 AWS 服务的出站流量。
Network Flow	srcaddr dstaddr	允许您查看有关在您的 VPC 中的网络接口之间出入的 IP 流量的信息。
Heat Map	srcaddr dstaddr	提供您的流量日志数据中源 IP 地址和目标 IP 地址之间连接的视觉摘要。
Egress Traffic Path	traffic-path	允许您在 VPC 网络接口上启用流日志，以捕获有关进出该接口的所有 IP 流量的信息。
Search	@timestamp account-id vpc-id flow-direction action protocol-code srcaddr scaport dstaddr dstport bytes packets log-status	通过对详细流量日志数据进行搜索，可以精确定位分析安全事件、网络问题、使用模式的变化等。

示例仪表板

您可以访问Amazon OpenSearch中的内置仪表板来查看日志数据。更多信息请参阅访问仪表板。

您可以点击下面的图像查看高分辨率的示例仪表板。