收集 F5 Shape 日志
解析器版本:1.0
本文档介绍了如何使用 Cloud Storage V2 将 F5 Shape 日志注入到 Google Security Operations。
F5 Distributed Cloud Bot Defense(以前称为 Shape Security)通过识别和缓解恶意机器人来保护应用免受自动化攻击。Bot Defense 使用 JavaScript 和原生移动 SDK 从客户端浏览器和移动设备收集遥测数据,并在请求到达您的应用之前检查这些遥测数据。该服务提供集成式信息中心和报告,可用于查看有关所分析流量的详细信息,包括安全性事件、访问日志和审核日志。
准备工作
请确保您满足以下前提条件:
- Google SecOps 实例
- 启用了 Cloud Storage API 的 Google Cloud 项目
- 创建和管理 Cloud Storage 存储桶的权限
- 管理 Cloud Storage 存储桶上的 Identity and Access Management (IAM) 政策的权限
- 对 F5 Distributed Cloud 控制台的特权访问权限
- 具有多云网络连接或共享配置服务访问权限的 F5 Distributed Cloud 账号
创建 Cloud Storage 存储桶
- 前往 Google Cloud 控制台。
- 选择您的项目或创建一个新项目。
- 在导航菜单中,前往 Cloud Storage > 存储桶。
- 点击创建存储分区。
提供以下配置详细信息:
设置 值 指定存储桶的名称 输入一个全局唯一的名称(例如 f5-xc-logs)。位置类型 根据您的需求进行选择(单区域、双区域、多区域)。 位置 选择位置(例如 us-central1)。存储类别 标准(推荐用于频繁访问的日志)。 访问权限控制 统一(推荐)。 保护工具 可选:启用对象版本控制或保留政策。 点击创建。
生成 F5 Shape API 凭证
F5 Distributed Cloud 使用 API 证书 (mTLS) 或 API 令牌进行身份验证。建议使用 API 证书,以提高安全性。
创建 API 证书
- 登录 F5 Distributed Cloud 控制台。
- 在控制台首页,选择管理。
- 在左侧导航菜单中,依次前往 Personal Management(个人管理)> Credentials(凭证)。
- 点击 Add Credentials(添加凭证)。
- 在元数据部分中,为证书输入名称(例如
secops-integration)。 - 从凭证类型列表中,选择 API 证书。
- 输入密码,并在确认密码字段中确认密码。
从日历列表中选择到期日期。
点击下载,以
.p12文件格式生成并下载证书。妥善保存下载的证书文件和密码,以备日后使用。
在 F5 Distributed Cloud 中创建 Google Cloud 凭据
F5 Distributed Cloud 需要 Google Cloud 服务账号凭证才能将日志写入 Cloud Storage 存储桶。
创建 Google Cloud 服务账号
- 在 Google Cloud 控制台中,依次前往 IAM 和管理 > 服务账号。
- 点击创建服务账号。
- 提供以下配置详细信息:
- 服务账号名称:输入
f5-xc-log-writer(或您想使用的名称)。 - 服务账号说明:输入
Service account for F5 Distributed Cloud to write logs to GCS。
- 服务账号名称:输入
- 点击创建并继续。
- 在向此服务账号授予对项目的访问权限部分中:
- 点击选择角色。
- 搜索并选择 Storage Object Admin。
- 点击继续。
- 点击完成。
授予对 Cloud Storage 存储桶的 IAM 权限
- 前往 Cloud Storage > 存储桶。
- 点击您的存储桶名称(例如
f5-xc-logs)。 - 前往权限标签页。
- 点击授予访问权限。
- 提供以下配置详细信息:
- 添加主账号:输入服务账号邮箱(例如
f5-xc-log-writer@PROJECT_ID.iam.gserviceaccount.com)。 - 分配角色:选择 Storage Object Admin。
- 添加主账号:输入服务账号邮箱(例如
- 点击保存。
创建服务账号密钥
- 在 Google Cloud 控制台中,依次前往 IAM 和管理 > 服务账号。
- 找到服务账号(例如
f5-xc-log-writer),然后点击该账号。 - 前往密钥标签页。
- 依次点击添加密钥 > 创建新密钥。
- 选择 JSON 作为密钥类型。
- 点击创建。
- 系统会自动下载 JSON 密钥文件。请妥善保存此文件。
向 F5 Distributed Cloud 添加 Google Cloud 凭据
- 在 F5 Distributed Cloud 控制台的首页中,选择多云网络连接或共享配置。
- 在左侧导航菜单中,依次前往管理 > 网站管理 > 云凭证。
- 点击添加云凭证。
- 在元数据部分中,输入名称(例如
gcp-secops-logs)。 - 从 Cloud Credentials Type(云凭证类型)列表中,选择 GCP Credentials(GCP 凭证)。
- 在 GCP 凭证部分中,点击配置。
- 在服务账号密钥部分中:
- 从Secret 类型列表中,选择蒙眼 Secret。
- 从操作列表中,选择 Blindfold New Secret。
- 从政策类型列表中,选择内置。
- 在 Secret to Blindfold(要加密的 Secret)字段中,粘贴您下载的 JSON 密钥文件的完整内容。
- 点击应用。
- 点击保存并退出。
为 Cloud Storage 配置全局日志接收器
F5 Distributed Cloud Global Log Receiver 每 5 分钟以 NDJSON 格式(换行符分隔的 JSON)将日志流式传输到 Cloud Storage。
创建全局日志接收器
- 在 F5 Distributed Cloud 控制台的首页中,选择多云网络连接或共享配置。
- 对于多云网络连接:依次前往管理 > 日志管理 > 全局日志接收器。
- 对于共享配置:依次前往管理 > 全局日志接收器。
- 点击添加全局日志接收器。
- 在元数据部分中,输入名称(例如
secops-gcs-receiver)。 - (可选)添加标签和说明。
从日志类型列表中,选择要收集的日志类型:
- 请求日志:来自负载均衡器的 HTTP 访问日志
- 安全性事件:Bot Defense 和 WAF 安全性事件
- 审计日志:配置和管理审计日志
- DNS 请求日志:DNS 查询日志
从日志消息选择列表中:
- 如果使用多云网络连接服务,请选择从当前命名空间(系统命名空间)中选择日志。
- 如果使用共享配置服务,请选择以下选项之一:
- 选择当前命名空间中的日志:仅发送共享命名空间中的日志。
- 选择所有命名空间中的日志:发送所有命名空间中的日志。
- 选择特定命名空间中的日志:输入特定命名空间名称,然后点击添加项以添加更多命名空间。
从接收器配置列表中,选择 GCP 存储桶。
在 GCP 存储桶部分中,提供以下配置:
- GCP 存储桶名称:输入您的 Cloud Storage 存储桶名称(例如
f5-xc-logs)。 - GCP 云凭证:从列表中选择您创建的云凭证(例如
gcp-secops-logs)。
- GCP 存储桶名称:输入您的 Cloud Storage 存储桶名称(例如
配置高级设置(可选)
- 点击显示高级字段切换开关。
在批处理选项部分中,配置以下内容(可选):
- Batch Timeout Options(批处理超时选项):选择 Timeout Seconds(超时秒数),然后输入一个值(默认值:
300秒)。 - 批处理事件数上限:选择事件数上限,然后输入一个介于 32 到 2000 之间的值(可选)。
- 批处理字节数:选择最大字节数,然后输入一个介于 4096 和 1048576 之间的值(默认值:
10485760字节/10 MB)。
- Batch Timeout Options(批处理超时选项):选择 Timeout Seconds(超时秒数),然后输入一个值(默认值:
完成并测试配置
- 点击保存并退出,以创建全局日志接收器。
- 在全局日志接收器列表中,找到您的接收器(例如
secops-gcs-receiver)。 - 在操作列中,点击三点状图标 …,然后选择测试连接。
等待测试完成。系统会显示一条成功消息,表明连接正常。
验证日志是否正在写入 Cloud Storage:
- 在 Google Cloud 控制台中,前往 Cloud Storage > 存储桶。
- 点击您的存储桶名称(例如
f5-xc-logs)。 - 在 5-10 分钟内,您应该会看到创建的文件夹具有以下结构:
- 每日文件夹:
YYYY-MM-DD/ - 每小时子文件夹:
YYYY-MM-DD/HH/ - 日志文件:
YYYY-MM-DD/HH/logs_YYYYMMDDHHMMSS.ndjson.gz
- 每日文件夹:
配置防火墙许可清单
F5 Distributed Cloud 要求在防火墙中允许特定 IP 范围,以便进行日志传送。
将以下 IP 地址范围添加到防火墙的许可清单中:
193.16.236.64/29185.160.8.152/29
检索 Google SecOps 服务账号
Google SecOps 使用唯一服务账号从 Cloud Storage 存储桶读取数据。您必须向此服务账号授予对存储桶的访问权限。
获取服务账号邮箱
- 依次前往设置 > 数据管理 > Feed。如果您使用的是 SIEM-only 平台,请依次前往设置 > Feed。
- 点击添加新新闻信息流。
- 点击配置单个 Feed。
- 在 Feed 名称字段中,输入 Feed 的名称(例如
F5 Distributed Cloud Bot Defense)。 - 选择 Google Cloud Storage V2 作为来源类型。
- 选择 F5_SHAPE 作为日志类型。
点击获取服务账号。系统会显示一个专属的服务账号邮箱,例如:
secops-12345678@secops-gcp-prod.iam.gserviceaccount.com复制该邮箱,以便在下一步中使用。
点击下一步。
为以下输入参数指定值:
存储桶网址:输入带有前缀路径的 Cloud Storage 存储桶 URI:
gs://f5-xc-logs/- 将
f5-xc-logs替换为您的实际 Cloud Storage 存储桶名称。 - 如果您在 Global Log Receiver 中配置了特定前缀,请将其包含在路径中(例如
gs://f5-xc-logs/bot-defense/)。
- 将
来源删除选项:根据您的偏好选择删除选项:
- 永不:转移后永不删除任何文件(建议在测试时使用)。
- 删除已转移的文件:在成功转移后删除文件。
删除已转移的文件和空目录:在成功转移后删除文件和空目录。
文件存在时间上限:包含过去若干天内修改过的文件(默认值为 180 天)。
资产命名空间:资产命名空间。
注入标签:要应用于此 Feed 中的事件的标签。
点击下一步。
在最终确定界面中查看新的新闻信息流配置,然后点击提交。
向 Google SecOps 服务账号授予 IAM 权限
Google SecOps 服务账号需要对您的 Cloud Storage 存储桶拥有 Storage Object Viewer 角色。
- 前往 Cloud Storage > 存储桶。
- 点击您的存储桶名称(例如
f5-xc-logs)。 - 前往权限标签页。
- 点击授予访问权限。
- 提供以下配置详细信息:
- 添加主账号:粘贴 Google SecOps 服务账号邮箱
- 分配角色:选择 Storage Object Viewer
- 点击保存。
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
| msg.requestHeaders.Proxy-Client-IP, msg.requestHeaders.WF-Forwarded-For, msg.requestHeaders.X-Forwarded-For, msg.requestHeaders.wl-proxy-client-ip, msg.hashedUserAgent, msg.transactionId, msg.hashedUsername, msg.dcgShapeFailedOn, ShapeShifterId, eventType, eventId, latRequest, latResponse, latTotal, latRspWait, count, latEccWait | additional.fields | 由根据各种字段创建的标签合并而成 |
| 中介 | 中介 | 如果值不为空,则直接复制 |
| 说明 | metadata.description | 直接复制的值 |
| target, has_principal_machine | metadata.event_type | 如果 target != "",则设置为 NETWORK_HTTP;如果 has_principal_machine == true,则设置为 STATUS_UPDATE;否则设置为 GENERIC_EVENT |
| 应用 | network.application_protocol | 值已转换为大写 |
| requestMethod, msg.method | network.http.method | requestMethod 中的值(如果不为空),否则为 msg.method |
| requestClientApplication, msg.requestHeaders.User-Agent | network.http.parsed_user_agent | requestClientApplication 中的值(如果不为空),否则为 msg.requestHeaders.User-Agent,转换为已解析的用户代理 |
| requestContext, msg.requestHeaders.Referer | network.http.referral_url | requestContext 中的值(如果不为空),否则为 msg.requestHeaders.Referer |
| msg.sseResponseCode, prCode | network.http.response_code | msg.sseResponseCode 中的值(如果不为空),否则为 prCode,转换为整数 |
| requestClientApplication, msg.requestHeaders.User-Agent | network.http.user_agent | requestClientApplication 中的值(如果不为空),否则为 msg.requestHeaders.User-Agent |
| requestHeader.x-shape-src-virtual | observer.ip | 直接复制的值 |
| 主体 | 主体 | 直接复制的值 |
| msg.host | principal.asset.hostname | 直接复制的值 |
| src、msg.src、msg.trueClientIP、requestHeader.X-Forwarded-For | principal.asset.ip | src 中的值(如果不为空),否则为 msg.src,否则为 msg.trueClientIP,否则为 X-Forwarded-For 中的第一个 IP(如果 != src) |
| msg.host | principal.hostname | 直接复制的值 |
| src、msg.src、msg.trueClientIP、requestHeader.X-Forwarded-For | principal.ip | src 中的值(如果不为空),否则为 msg.src,否则为 msg.trueClientIP,否则为 X-Forwarded-For 中的第一个 IP(如果 != src) |
| msg.requestHeaders | principal.resource.attribute.labels | 从 msg.requestHeaders 中的键值对合并 |
| msg.uri | principal.url | 直接复制的值 |
| security_result | security_result | 直接复制的值 |
| deviceExternalId | security_result.about.asset_id | 直接复制的值 |
| flowLabel, agentLabel, requestHeader.Content-Length, requestHeader.Content-Type, requestHeader.Accept, requestHeader.Accept-Encoding, browserType, accountInfo, requestHeader.Via, asn, tid, ctag, requestHeader.Cache-Control, transactionResult | security_result.about.labels | 由根据各种字段创建的标签合并而成 |
| act, msg.transactionResult | security_result.action | 如果 act 与 PASS 和 isAttack 匹配,则设置为 ALLOW,否则设置为 UNKNOWN_ACTION;如果 msg.transactionResult == Success,则设置为 ALLOW,如果为 Failure,则设置为 BLOCK |
| act, msg.transactionResult | security_result.action_details | 如果 act 不为空,则为 act 的值,否则为 msg.transactionResult |
| severity | security_result.severity | 如果为“Error”“error”“warning”,则设置为“HIGH”;如果与“critical”匹配,则设置为“CRITICAL”;如果为“notice”,则设置为“MEDIUM”;如果为“information”“info”“INFO”,则设置为“LOW” |
| severity | security_result.severity_details | 直接复制的值 |
| attackCause | security_result.threat_name | 直接复制的值 |
| 目标 | 目标 | 直接复制的值 |
| appName | target.application | 直接复制的值 |
| dst, msg.dst | target.asset.ip | dst 中的值(如果不为空),否则为 msg.dst |
| dhost | target.hostname | 直接复制的值 |
| dst, msg.dst | target.ip | dst 中的值(如果不为空),否则为 msg.dst |
| countryName | target.location.country_or_region | 直接复制的值 |
| dpt | target.port | 已转换为整数 |
| msg.responseHeaders | target.resource.attribute.labels | 从 msg.responseHeaders 中的键值对合并 |
| 请求 | target.url | 直接复制的值 |
| requestHeader.X-Forwarded-For | intermediary.ip | 设置为 X-Forwarded-For 数组中的后续 IP |
| metadata.product_name | 设置为“形状” | |
| metadata.vendor_name | 设置为“F5” | |
requestHeaders_id_array.User-Agent |
network.http.user_agent |
从更新日志映射 |
requestHeaders_id_array.Referer |
network.http.referral_url |
从更新日志映射 |
requestHeaders_id_array.Proxy-Client-IP", "requestHeaders_id_array.WF-Forwarded-For", "requestHeaders_id_array.X-Forwarded-For", and "requestHeaders_id_array.wl-proxy-client-ip |
additional.fields |
从更新日志映射 |