收集 Sophos UTM 日志
本文档介绍了如何使用 Bindplane 将 Sophos UTM 日志注入 Google Security Operations。
Sophos UTM(统一威胁管理)是一款一体化网络安全设备,提供防火墙、VPN、入侵防御、Web 过滤、电子邮件过滤和杀毒软件功能。它通过一个基于 Web 的管理控制台,为企业网络提供集中式安全管理。解析器会从 Sophos UTM KV 格式的日志中提取字段。它使用 grok 和/或 kv 来解析日志消息,然后将这些值映射到统一数据模型 (UDM)。它还会为事件来源和类型设置默认元数据值。
准备工作
请确保满足以下前提条件:
- Google SecOps 实例
- Windows Server 2016 或更高版本,或者安装了
systemd的 Linux 主机 - 如果在代理后面运行,请确保按照 Bindplane 代理要求打开防火墙端口
- 对 Sophos UTM WebAdmin 界面的特权访问权限
获取 Bindplane 代理的 Google SecOps 凭证
如需向 Google SecOps 验证 Bindplane 代理,请选择以下方法之一:
- 新部署:使用 Chronicle API(选项 1)。
- 旧版部署:继续使用数据注入身份验证文件(方法 2),直到 Ingestion API 于 2027 年 7 月 20 日停用。
方法 1:为 Chronicle API 创建服务账号(推荐)
- 登录 Google Cloud 控制台,然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
- 依次前往 IAM 和管理 > 服务账号。
- 点击创建服务账号。
- 提供以下配置详细信息:
- 服务账号名称:输入账号的名称(例如
bindplane-ingest)。 - 服务账号说明:输入说明(例如
Bindplane agent log ingestion)。
- 服务账号名称:输入账号的名称(例如
- 点击创建并继续。
- 在向此服务账号授予对项目的访问权限部分,点击选择角色,然后选择 Chronicle Editor。
- 点击继续,然后点击完成。
- 点击您创建的服务账号,然后前往密钥标签页。
- 依次点击添加密钥 > 创建新密钥。
- 选择 JSON,然后点击创建。密钥文件会下载到您的计算机上。
- 将密钥文件另存为 Bindplane 收集器目录(Linux 上的
/opt/observiq-otel-collector/ingestion-auth.json或 Windows 上的C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json)中的ingestion-auth.json,或更新config.yaml中的creds_file_path以匹配您保存它的路径。 - 前往 IAM 和管理 > 设置,然后复制项目编号。您在配置导出器时需要用到该名称。
方法 2:下载数据注入身份验证文件(旧版)
- 登录 Google SecOps 控制台。
- 依次前往设置 > 数据管理 > 收集代理。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 收集代理。
- 下载数据注入身份验证文件。
- 将该文件安全地保存在将要安装 Bindplane 代理的系统上。
获取 Google SecOps 客户 ID
- 登录 Google SecOps 控制台。
- 依次前往设置 > 管理 > 个人资料。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 个人资料。
- 复制并保存组织详细信息部分中的客户 ID。
安装 Bindplane 代理
根据以下说明,在 Windows 或 Linux 操作系统上安装 Bindplane 代理。
Windows 安装
- 以管理员身份打开命令提示符或 PowerShell。
运行以下命令:
msiexec /i "[https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi](https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi)" /quiet等待安装完成。
运行以下命令,验证安装是否成功:
sc query observiq-otel-collector
该服务应显示为正在运行。
Linux 安装
- 打开具有 root 或 sudo 权限的终端。
运行以下命令:
sudo sh -c "$(curl -fsSlL [https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh](https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh))" install_unix.sh等待安装完成。
运行以下命令,验证安装是否成功:
sudo systemctl status observiq-otel-collector
该服务应显示为 active (running)。
其他安装资源
如需了解其他安装选项和问题排查,请参阅 Bindplane 代理安装指南。
配置 Bindplane 代理以注入 syslog 并发送到 Google SecOps
找到配置文件
Linux:
sudo nano /opt/observiq-otel-collector/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
修改配置文件
将
config.yaml的全部内容替换为以下配置:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/chronicle_w_labels: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip creds_file_path: '/path/to/ingestion-authentication-file.json' customer_id: 'YOUR_CUSTOMER_ID' endpoint: chronicle.googleapis.com log_type: 'SOPHOS_UTM' raw_log_field: body ingestion_labels: service: pipelines: logs/source0__chronicle_w_labels-0: receivers: - udplog exporters: - chronicle/chronicle_w_labels
配置参数
替换以下占位符:
接收器配置:
udplog:对于 UDP syslog,请使用udplog;对于 TCP syslog,请使用tcplog0.0.0.0:要监听的 IP 地址(0.0.0.0表示监听所有接口)514:要监听的端口号(标准 syslog 端口)
导出器配置:
creds_file_path:服务账号 JSON 密钥文件的完整路径(选项 1):- Linux:
/opt/observiq-otel-collector/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
YOUR_CUSTOMER_ID:客户 ID(来自“获取客户 ID”部分)location:将<LOCATION>替换为 Google SecOps 实例所在的区域(例如us、europe或asia-southeast1)。导出工具会在此值前面加上chronicle.googleapis.com。如需查看完整列表,请参阅区域级端点。project:将<PROJECT_NUMBER>替换为 IAM 和管理 > 设置中的项目编号。endpoint:保持设置为chronicle.googleapis.com。log_type:日志类型,与 Chronicle (SOPHOS_UTM) 中显示的完全一致
旧版提取 API 导出工具
如果您使用选项 2 中的数据注入身份验证文件,请将
exporters代码块替换为以下内容。将creds_file_path设置为数据注入身份验证文件的路径,如果您的实例位于美国境外,请将malachiteingestion-pa.googleapis.com替换为您的区域端点(例如europe-malachiteingestion-pa.googleapis.com)。exporters: chronicle/chronicle_w_labels: compression: gzip creds_file_path: '/path/to/ingestion-authentication-file.json' customer_id: 'YOUR_CUSTOMER_ID' endpoint: malachiteingestion-pa.googleapis.com log_type: 'SOPHOS_UTM' raw_log_field: body ingestion_labels:
保存配置文件
- 修改后,保存文件:
- Linux:依次按
Ctrl+O、Enter和Ctrl+X - Windows:依次点击文件 > 保存
- Linux:依次按
重启 Bindplane 代理以应用更改
如需在 Linux 中重启 Bindplane 代理,请执行以下操作:
运行以下命令:
sudo systemctl restart observiq-otel-collector验证服务是否正在运行:
sudo systemctl status observiq-otel-collector检查日志中的错误:
sudo journalctl -u observiq-otel-collector -f
如需在 Windows 中重启 Bindplane 代理,请执行以下操作:
请从下列选项中选择一项:
- 以管理员身份运行命令提示符或 PowerShell:
net stop observiq-otel-collector && net start observiq-otel-collector- 服务控制台:
- 按
Win+R,输入services.msc,然后按 Enter 键。 - 找到 observIQ OpenTelemetry 收集器。
- 右键点击并选择重启。
- 按
验证服务是否正在运行:
sc query observiq-otel-collector检查日志中的错误:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
在 Sophos UTM 上配置 Syslog 转发
- 登录 Sophos UTM WebAdmin 界面。
- 依次前往日志记录和报告 > 日志设置 > 远程 Syslog 服务器。
- 点击切换开关以启用远程 syslog。
- 提供以下配置详细信息:
- 远程 Syslog 服务器:输入 Bindplane 代理主机的 IP 地址。
- 端口:输入
514。
在远程 Syslog 日志选择部分,选择要转发的日志类型:
- 数据包过滤器:防火墙数据包过滤器日志
- 网络过滤器:网络过滤活动
- IPS:入侵防御系统事件
- 身份验证:用户身份验证事件
- 电子邮件:电子邮件过滤和隔离事件
- 网络保护:高级威胁防护日志
- WebServer Protection:WAF 日志
- VPN:VPN 连接事件
- HA/集群:高可用性和集群事件
- 系统:系统级事件
- DHCP:DHCP 服务器日志
- DNS:DNS 查询日志
点击应用以保存配置。
通过检查 Bindplane 代理日志,验证是否正在发送 syslog 消息。
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
| 操作 | security_result.action | 如果操作为“pass”或“accept”,则映射到“ALLOW”。如果操作为“drop”,则映射到“BLOCK”。 |
| ad_domain | target.administrative_domain | 直接映射。 |
| 地址 | target.ip、target.asset.ip | 直接映射,在 ID 为“2203”时使用。 |
| 应用 | target.application | 直接映射。 |
| app-id | additional.fields[].key, additional.fields[].value.string_value | 已重命名为 app_id。如果该字段不为空,则键会设为“app-id”,值会设为 app-id 本身。 |
| 应用 | principal.application | 直接映射。 |
| aptptime | additional.fields[].key, additional.fields[].value.string_value | 如果不为空,则键设置为“aptptime”,值是 aptptime 本身。 |
| auth | extensions.auth.auth_details | 直接映射。 |
| authtime | additional.fields[].key, additional.fields[].value.string_value | 如果该值不为空且不为“0”,则键会设置为“authtime”,值就是 authtime 本身。 |
| avscantime | additional.fields[].key, additional.fields[].value.string_value | 如果该值不为空且不为“0”,则键会设置为“avscantime”,值就是 avscantime 本身。 |
| 类别 | security_result.detection_fields[].key, security_result.detection_fields[].value | 如果不为空,则键设置为“category”,值设置为类别本身。如果名称包含“portscan”,则 security_result.category 会设置为“NETWORK_RECON”,并添加一个键为“category”且值为“NETWORK_RECON”的检测字段。 |
| categoryname | security_result.category_details | 直接映射。 |
| 连接 | security_result.rule_name | 直接映射,在 ID 为“2203”时使用。 |
| 内容类型数据 | (查看其他字段) | 数据字段包含键值对,这些键值对会被解析为各个字段。 |
| 日期时间 | metadata.event_timestamp | 解析并映射为自新纪元以来的秒数。 |
| device | additional.fields[].key, additional.fields[].value.string_value | 如果该值不为空且不为“0”,则键会设置为“device”,值则为设备本身。 |
| dnstime | additional.fields[].key, additional.fields[].value.string_value | 如果该值不为空且不为“0”,则键会设置为“dnstime”,值就是 dnstime 本身。 |
| dstip | target.ip、target.asset.ip | 直接映射。如果存在,也会从 url 字段中提取。 |
| dstmac | target.mac | 直接映射。 |
| dstport | target.port | 直接映射,转换为整数。 |
| 错误事件 | security_result.summary | 直接映射,在 ID 为“2201”“2202”或“2203”时使用。 |
| exceptions | additional.fields[].key, additional.fields[].value.string_value | 如果不为空,则键设置为“exceptions”,值是异常本身。 |
| 文件 | about.file.full_path | 直接映射。 |
| filteraction | security_result.rule_name | 直接映射。 |
| fullreqtime | additional.fields[].key, additional.fields[].value.string_value | 如果不为空,则键设置为“fullreqtime”,值是 fullreqtime 本身。 |
| fwrule | security_result.rule_id | 直接映射。 |
| 群组 | target.group.group_display_name | 直接映射。 |
| id | metadata.product_log_id | 直接映射。 |
| 信息 | security_result.description | 直接映射。如果存在,metadata.event_type 会设置为“NETWORK_UNCATEGORIZED”。 |
| initf 接口 | security_result.about.labels[].key, security_result.about.labels[].value | 如果不为空,则系统会将键为“Interface”且值为 interface 的标签添加到 security_result.about.labels。 |
| ip_address | target.ip、target.asset.ip | 直接映射。 |
| length line message | security_result.summary | 在 ID 为“0003”时使用。也用于一般 grok 解析。 |
| 方法 | network.http.method | 直接映射。 |
| name | security_result.summary | 直接映射。 |
| outitf pid | target.process.pid | 直接映射。 |
| 端口 | target.port | 直接映射,转换为整数。 |
| prec profile | security_result.rule_name | 直接映射。 |
| proto | network.ip_protocol | 使用对照表转换为 IP 协议名称。 |
| reason referer | network.http.referral_url | 直接映射。 |
| 请求 | additional.fields[].key, additional.fields[].value.string_value | 如果不为空,则键设置为“request”,值是请求本身。 |
| 声誉 | additional.fields[].key, additional.fields[].value.string_value | 如果不为空,则键会设置为“reputation”,值是声誉值本身。 |
| rx | network.received_bytes | 直接映射,在 ID 为“2202”时使用,转换为无符号整数。 |
| 沙盒严重程度 | security_result.severity | 如果严重级别为“info”,则映射到“LOW”。 |
| 大小 | target.file.size | 直接映射,转换为无符号整数。 |
| srcip | principal.ip、principal.asset.ip | 直接映射。 |
| srcmac | principal.mac | 直接映射。 |
| srcport | principal.port | 直接映射,转换为整数。 |
| statuscode | network.http.response_code | 直接映射,转换为整数。 |
| sub | network.application_protocol | 如果 sub 为“http”,则 metadata.event_type 设置为“NETWORK_HTTP”,network.application_protocol 设置为“HTTP”。如果 sub 为“packetfilter”,则 metadata.description 会设置为 sub。否则,使用对照表转换为应用协议名称。如果在对照表中未找到匹配项,则使用 dstport 进行查找。 |
| sys | metadata.product_event_type | 直接映射。 |
| tcpflags tos ttl tx | network.sent_bytes | 直接映射,在 ID 为“2202”时使用,转换为无符号整数。 |
| ua | network.http.user_agent | 直接映射。 |
| 网址 | network.http.referral_url、target.hostname、target.asset.hostname | network.http.referral_url 的直接映射。为 target.hostname 和 target.asset.hostname 提取的主机名。也用于提取 dstip。 |
| 用户 | target.user.userid | 直接映射。 |
| 用户名 | target.user.userid | 直接映射,在 ID 为“2201”或“2202”时使用。 |
| variant | 未包含在最终 UDM 中,但在说明中使用 | 当 id 为“2201”“2202”或“2203”时,与 sub 结合使用,以创建 security_result.description。 |
| virtual_ip | target.ip、target.asset.ip | 直接映射,在 ID 为“2201”或“2202”时使用。 |
| metadata.event_type | metadata.event_type | 已初始化为“GENERIC_EVENT”。根据日志内容和解析器逻辑设置为特定值。 |
| metadata.log_type | metadata.log_type | 硬编码为“SOPHOS_UTM”。 |
| metadata.product_name | metadata.product_name | 硬编码为“SOPHOS UTM”。 |
| metadata.vendor_name | metadata.vendor_name | 硬编码为“SOPHOS Ltd”。 |
| intermediary.hostname | intermediary.hostname | 使用 grok 从日志消息中提取并重命名。 |
content-type |
event.idm.read_only_udm.additional.fields |
从更新日志映射 |
reason |
event.idm.read_only_udm.additional.fields |
从更新日志映射 |
referer |
event.idm.read_only_udm.additional.fields |
从更新日志映射 |
subject |
network.email.subject |
从更新日志映射 |
from |
network.email.from |
从更新日志映射 |
to |
network.email.to |
从更新日志映射 |
virus |
security_result.detection_fields |
从更新日志映射 |
filename |
target.file.names |
从更新日志映射 |
severity |
security_result.severity_details |
从更新日志映射 |
inter_host |
intermediary.hostname |
从更新日志映射 |