收集 Cloudflare WAF 日志

解析器版本:6.0

支持的国家/地区:

此解析器会从 Cloudflare Web 应用防火墙 (WAF) JSON 日志中提取字段,并将其转换和映射到 Unified Data Model (UDM)。它会处理各种 Cloudflare 操作,使用元数据和网络信息丰富数据,然后将输出结构化为 UDM 格式。

准备工作

确保您满足以下前提条件:

  • Google Security Operations 实例。
  • 对 Google Cloud的特权访问权限。
  • Cloudflare 企业版方案。
  • 对 Cloudflare 的特权访问权限。如需了解详情,请参阅 Cloudflare。

创建 Cloud Storage 存储桶

  1. 登录 Google Cloud 控制台。
  2. 前往 Cloud Storage 存储桶页面。

    进入“存储桶”

  3. 点击创建。

  4. 配置存储桶:

    • 名称:输入符合存储桶名称要求的唯一名称(例如 cloudflare-waf)。
    • 选择数据存储位置:选择一个位置。
    • 为数据选择一个存储类别:为存储桶选择默认存储类别,或者选择 Autoclass 进行自动存储类别管理。
    • 选择如何控制对对象的访问权限:选择不强制执行禁止公开访问,然后为存储桶对象选择访问权限控制模型。
    • 存储类别:根据您的需求进行选择(例如标准)。
  5. 点击创建。

向 Cloudflare IAM 用户授予存储桶权限

  1. 在 Google Cloud中,依次前往存储 > 浏览器 > 存储桶 > 权限。
  2. 添加具有 Storage Object Admin 管理员权限的账号 logpush@cloudflare-data. 。

使用 Cloudflare 界面为 WAF 日志创建 Logpush 作业

  1. 登录 Cloudflare。
  2. 前往分析和日志 > Logpush。
  3. 选择创建 Logpush 作业。
  4. 在选择目标位置中,选择 Google Cloud Storage。
  5. 输入以下目标位置详细信息:
    • 存储桶:Cloud Storage 存储桶名称
    • 路径:存储数据容器中的存储桶位置
    • 选择将日志整理到每日子文件夹中
  6. 点击继续。
  1. 选择要推送到存储空间的安全 (WAF) 数据集。
  2. 配置 logpush 作业:
    • 输入作业名称。
    • 在“如果日志匹配”下,您可以选择要从日志中包含或移除的事件。如需了解详情,请参阅过滤条件。并非所有数据集都提供此选项。
    • 在发送以下内容字段中,您可以选择将所有日志推送到存储目的地,也可以选择性地选择要推送的日志。
  3. 点击提交。

设置 Feed

如需配置 Feed,请按以下步骤操作:

  1. 依次前往设置 > 数据管理 > Feed。如果您使用的是 SIEM-only 平台,请依次前往设置 > Feed。
  2. 点击添加新新闻信息流。
  3. 在下一页上,点击配置单个 Feed。
  4. 在 Feed 名称字段中,输入 Feed 的名称(例如 Cloudflare WAF Logs)。
  5. 选择 Google Cloud Storage V2 作为来源类型。
  6. 选择 Cloudflare WAF 作为日志类型。
  7. 点击获取服务账号。
  8. 点击下一步。
  9. 为以下输入参数指定值:

    • 存储桶 URI:Cloud Storage 网址。
    • 来源删除选项:根据您的偏好选择删除选项。
  10. 点击下一步。

  11. 在最终确定界面中查看新的新闻信息流配置,然后点击提交。

UDM 映射表

日志字段 UDM 映射 逻辑
Action security_result.action_details 原始日志中的 Action 值会直接分配给此 UDM 字段。
Action security_result.action 此字段的值派生自原始日志中的 Action 字段。如果 Action 为“allow”,则 UDM 字段设置为 ALLOW。如果 Action 为“challengeSolved”“jschallengeSolved”“managedchallengenoninteractivesolved”或“managedchallengeinteractivesolved”,则 UDM 字段设置为 ALLOW_WITH_MODIFICATION。如果 Action 为“drop”“block”或“connectionclose”,则 UDM 字段设置为 BLOCK。如果 Action 为“challengefailed”或“jschallengefailed”,则 UDM 字段设置为 FAIL。否则,该值会设为 UNKNOWN_ACTION。
ClientASN network.asn 原始日志中的 ClientASN 值在转换为字符串后,会直接分配给此 UDM 字段。
ClientASNDescription additional.fields.key 该键静态设置为“ClientASNDescription”。
ClientASNDescription additional.fields.value.string_value 原始日志中的 ClientASNDescription 值会直接分配给此 UDM 字段。
ClientCountry principal.location.country_or_region 原始日志中的 ClientCountry 值会直接分配给此 UDM 字段。
ClientIP principal.ip 原始日志中的 ClientIP 值会直接分配给此 UDM 字段。
ClientRefererHost intermediary.hostname 原始日志中的 ClientRefererHost 值会直接分配给此 UDM 字段。
ClientRefererPath network.http.referral_url 原始日志中的 ClientRefererPath 值会直接分配给此 UDM 字段。
ClientRequestHost target.hostname 原始日志中的 ClientRequestHost 值会直接分配给此 UDM 字段。
ClientRequestMethod network.http.method 原始日志中的 ClientRequestMethod 值会直接分配给此 UDM 字段。
ClientRequestPath target.file.full_path 原始日志中的 ClientRequestPath 值会直接分配给此 UDM 字段。
ClientRequestProtocol network.application_protocol ClientRequestProtocol 的协议部分(例如,“HTTP/1.1”中的“HTTP”)使用 grok 提取,转换为大写,并分配给此 UDM 字段。
ClientRequestUserAgent network.http.user_agent 原始日志中的 ClientRequestUserAgent 值会直接分配给此 UDM 字段。
Datetime metadata.event_timestamp 原始日志中的 Datetime 值会解析为 RFC 3339 时间戳,并分配给此 UDM 字段。
EdgeColoCode additional.fields.key 该键静态设置为“EdgeColoCode”。
EdgeColoCode additional.fields.value.string_value 原始日志中的 EdgeColoCode 值会直接分配给此 UDM 字段。
EdgeResponseStatus network.http.response_code 原始日志中的 EdgeResponseStatus 值会直接分配给此 UDM 字段,并转换为整数。
Kind metadata.product_event_type 原始日志中的 Kind 值会直接分配给此 UDM 字段。
Metadata.filter target.resource.attribute.labels.value 原始日志中的 Metadata.filter 值会分配给 target.resource.attribute.labels 中标签的 value 字段。此标签的 key 静态设置为“元数据过滤条件”。
Metadata.type target.resource.attribute.labels.value 原始日志中的 Metadata.type 值会分配给 target.resource.attribute.labels 中标签的 value 字段。此标签的 key 静态设置为“元数据类型”。此字段的值根据 ClientIP、ClientRequestHost 和 app_protocol 的存在情况和值推导得出。如需了解具体逻辑,请参阅解析器代码。静态设置为“Cloudflare”。静态设置为“Cloudflare log Aggregator”。将静态值设为“CLOUDFLARE_WAF”。
RayID metadata.product_log_id 原始日志中的 RayID 值会直接分配给此 UDM 字段。
RuleID security_result.rule_id 原始日志中的 RuleID 值会直接分配给此 UDM 字段。
Source security_result.rule_name 原始日志中的 Source 值会直接分配给此 UDM 字段。
timestamp metadata.event_timestamp,events.timestamp 原始日志中的 timestamp 值会直接分配给这些 UDM 字段。

更新日志

查看此解析器的更新日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。