收集 Elastic Auditbeat 日志

解析器版本:5.0

支持的国家/地区:

本文档介绍了如何使用 Amazon S3 将 Elastic Auditbeat 日志注入 Google Security Operations。解析器会从 JSON 日志中提取字段,将其标准化为统一数据模型 (UDM),并使用主机信息、网络详细信息和安全结果分类等其他上下文来丰富数据。它通过将 event1.action 和其他字段映射到特定的 UDM 元数据事件类型来处理各种事件类型,并在可能的情况下默认使用 GENERIC_EVENT 或更具体的类别。

准备工作

请确保满足以下前提条件:

  • Google SecOps 实例。
  • 对 Elastic Auditbeat 服务器的特权访问权限。
  • 对 Logstash 服务器的特权访问权限。
  • 对 AWS(S3、IAM)的特权访问权限。

获取 Elastic Auditbeat 前提条件

  1. 确保您的服务器上已安装并配置 Elastic Auditbeat。
  2. 在专用服务器上或与 Auditbeat 一起安装 Logstash。
  3. 请记下 Auditbeat 配置文件的位置(通常为 /etc/auditbeat/auditbeat.yml)。

为 Google SecOps 配置 AWS S3 存储桶和 IAM

  1. 按照此用户指南创建 Amazon S3 存储桶:创建存储桶
  2. 保存存储桶名称和区域(例如 elastic-auditbeat-logs),以供日后参考。
  3. 按照以下用户指南创建用户:创建 IAM 用户。
  4. 选择创建的用户。
  5. 选择安全凭证标签页。
  6. 点击访问密钥部分中的创建访问密钥。
  7. 选择第三方服务作为用例。
  8. 点击下一步。
  9. 可选:添加说明标签。
  10. 点击创建访问密钥。
  11. 点击下载 .CSV 文件,保存访问密钥和Secret Access Key,以供日后参考。
  12. 点击完成。
  13. 选择权限标签页。
  14. 点击权限政策部分中的添加权限。
  15. 选择添加权限。
  16. 选择直接附加政策。
  17. 搜索 AmazonS3FullAccess 政策。
  18. 选择相应政策。
  19. 点击下一步。
  20. 点击添加权限。

将 Auditbeat 配置为发送到 Logstash

  1. 修改 Auditbeat 配置文件 /etc/auditbeat/auditbeat.yml。
  2. 注释掉任何现有输出配置(Elasticsearch 等)。
  3. 添加 Logstash 输出配置:

    # ==================== Outputs ====================
    output.logstash:
      hosts: ["localhost:5044"]
      # If Logstash is on a different server, use its IP/hostname
      # hosts: ["logstash-server:5044"]
    
      # Optional: Enable load balancing if using multiple Logstash instances
      loadbalance: true
    
      # Optional: Configure bulk settings (default is 2048)
      bulk_max_size: 2048
    
      # Optional: Configure SSL if needed
      # ssl.enabled: true
      # ssl.certificate_authorities: ["/path/to/ca.crt"]
    
  4. 重启 Auditbeat 以应用更改:

    sudo systemctl restart auditbeat
    

配置 Logstash 流水线

  1. 创建新的 Logstash 流水线配置文件 /etc/logstash/conf.d/auditbeat-to-s3.conf:

    input {
      beats {
        port => 5044
        # Optional: Configure SSL
        # ssl => true
        # ssl_certificate => "/path/to/server.crt"
        # ssl_key => "/path/to/server.key"
      }
    }
    
    filter {
      # Add any necessary transformations here
      # The data should remain in raw JSON format for Chronicle parsing
    
      # Optional: Add metadata for debugging
      mutate {
        add_field => { "[@metadata][pipeline]" => "auditbeat-to-s3" }
      }
    }
    
    output {
      s3 {
        # AWS credentials
        access_key_id => "YOUR_AWS_ACCESS_KEY_ID"
        secret_access_key => "YOUR_AWS_SECRET_ACCESS_KEY"
    
        # S3 bucket configuration
        region => "us-east-1"  # Replace with your bucket region
        bucket => "elastic-auditbeat-logs"  # Replace with your bucket name
    
        # Organize logs by date using Logstash timestamp interpolation
        prefix => "auditbeat/%{+YYYY}/%{+MM}/%{+dd}/"
    
        # File rotation settings
        size_file => 10485760  # 10MB files
        time_file => 5  # Rotate every 5 minutes
    
        # Compression for cost optimization
        encoding => "gzip"
    
        # Output format - keep as JSON for Chronicle
        codec => "json_lines"
    
        # Optional: Server-side encryption
        # server_side_encryption => true
        # server_side_encryption_algorithm => "AES256"
      }
    
      # Optional: Keep a local copy for debugging
      # stdout { 
      #   codec => rubydebug 
      # }
    }
    
    • 将 YOUR_AWS_ACCESS_KEY_ID 和 YOUR_AWS_SECRET_ACCESS_KEY 替换为您的实际 AWS 凭证。
    • 更新 region 和 bucket 值,使其与您的 S3 配置相匹配。
    • 启动或重启 Logstash:
    sudo systemctl restart logstash
    

(可选)为 Google SecOps 创建只读 IAM 用户和密钥

  1. 依次前往 AWS 控制台 > IAM > 用户。
  2. 点击 Add users(添加用户)。
  3. 提供以下配置详细信息:
    • 用户:输入 secops-reader。
    • Access type(访问权限类型):选择 Access key – Programmatic access(访问密钥 - 以程序化方式访问)。
  4. 点击创建用户。
  5. 附加最低读取权限政策(自定义):Users(用户)> secops-reader > Permissions(权限)> Add permissions(添加权限)> Attach policies directly(直接附加政策)> Create policy(创建政策)。
  6. JSON:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": ["s3:GetObject"],
          "Resource": "arn:aws:s3:::elastic-auditbeat-logs/*"
        },
        {
          "Effect": "Allow",
          "Action": ["s3:ListBucket"],
          "Resource": "arn:aws:s3:::elastic-auditbeat-logs"
        }
      ]
    }
    
  7. 名称 = secops-reader-policy。

  8. 依次点击创建政策 > 搜索/选择 > 下一步 > 添加权限。

  9. 为 secops-reader 创建访问密钥:Security credentials(安全凭证)> Access keys(访问密钥)。

  10. 点击创建访问密钥。

  11. 下载 .CSV。(您需要将这些值粘贴到 Feed 中)。

在 Google SecOps 中配置 Feed 以注入 Elastic Auditbeat 日志

  1. 依次前往设置 > 数据管理 > Feed。如果您使用的是 SIEM-only 平台,请依次前往设置 > Feed。
  2. 点击 + 添加新新闻信息流。
  3. 在 Feed 名称字段中,输入 Feed 的名称(例如 Elastic Auditbeat Logs)。
  4. 选择 Amazon S3 V2 作为来源类型。
  5. 选择 Elastic Audit Beats 作为日志类型。
  6. 点击下一步。
  7. 为以下输入参数指定值:
    • S3 URI:s3://elastic-auditbeat-logs/auditbeat/
    • 来源删除选项:根据您的偏好选择删除选项。
    • 文件存在时间上限:包含在过去指定天数内修改过的文件。默认值为 180 天。
    • 访问密钥 ID:有权访问 S3 存储桶的用户访问密钥。
    • Secret Access Key:有权访问 S3 存储桶的用户私有密钥。
    • 资产命名空间:资产命名空间。
    • 注入标签:应用于此 Feed 中事件的标签。
  8. 点击下一步。
  9. 在最终确定界面中查看新的新闻信息流配置,然后点击提交。

UDM 映射表

日志字段 UDM 映射 逻辑
@timestamp metadata.event_timestamp 事件时间戳是从 @timestamp 字段解析的。
agent.id observer.asset_id 前缀为“agent_id: ”。
agent.type observer.application 观测者应用设置为代理类型。
agent.version observer.platform_version 观察者平台版本设置为代理版本。
client.bytes principal.labels 作为键为“Bytes”的标签添加。已转换为字符串。
client.ip principal.ip 主账号 IP 会设置为客户端 IP。
client.packets principal.labels 作为键为“Packets”的标签添加。已转换为字符串。
client.port principal.port 主端口设置为客户端端口。转换为整数。
cloud.availability_zone principal.cloud.availability_zone 主云可用区设置为云可用区。
cloud.instance.id principal.resource.id 主账号资源 ID 会设置为云实例 ID。
cloud.machine.type principal.resource.resource_subtype 主资源子类型设置为云机器类型。
cloud.region principal.cloud.availability_zone 如果存在云区域,则会覆盖可用区。
destination.bytes target.labels 作为键为“Bytes”的标签添加。已转换为字符串。
destination.ip target.ip 目标 IP 会设置为目标 IP。
destination.packets target.labels 作为键为“Packets”的标签添加。已转换为字符串。
destination.port target.port 目标端口设置为目标端口。转换为整数。
ecs.version metadata.product_version 如果存在,则覆盖 jsonPayload.@metadata.version 中的值。
event1.category security_result.category_details 所有值都会添加到 category_details 中。
event1.duration network.session_duration.seconds 转换为整数。
event1.id metadata.product_log_id 元数据产品日志 ID 会设置为事件 ID。
event1.outcome extensions.auth.auth_details 授权详情会设置为事件结果。
file.extension target.file.mime_type 目标文件 MIME 类型设置为文件扩展名。
file.hash.sha1 target.file.sha1 目标文件 SHA-1 设置为文件 SHA-1 哈希。
file.path target.file.full_path 目标文件完整路径已设置为该路径。
file.size target.file.size 转换为 uinteger。
group.id principal.group.product_object_id 主群组产品对象 ID 设置为群组 ID。
group.name principal.group.group_display_name 主群组显示名称设置为群组名称。
host.architecture principal.asset.hardware.cpu_platform 存储在临时变量 hardware.cpu_platform 中,然后合并到 principal.asset.hardware 中。
host.hostname principal.hostname 主账号主机名设置为主机的主机名。
host.id principal.asset.asset_id 前缀为“Host Id: ”。
host.ip principal.asset.ip 所有值都会添加到主资产 IP。
host.mac principal.mac 短划线会替换为冒号。
host.name principal.hostname,observer.hostname 如果存在,则覆盖 host.hostname 中的值。
host.os.kernel principal.platform_patch_level 主要平台补丁级别设置为宿主机操作系统内核。
host.os.version principal.platform_version 主账号平台版本设置为宿主机操作系统版本。存储在临时变量 host_os_version 中。
httpRequest.remoteIp target.ip 如果存在此值,且未设置其他目标 IP,则使用此值。
httpRequest.requestMethod network.http.method 网络 HTTP 方法设置为 HTTP 请求方法。
httpRequest.requestSize network.sent_bytes 转换为 uinteger。
httpRequest.requestUrl network.http.referral_url 网络 HTTP 引荐来源网址设置为 HTTP 请求网址。
httpRequest.responseSize network.received_bytes 转换为 uinteger。
httpRequest.serverIp principal.ip 如果存在此值,且未设置其他主 IP,则使用此值。
httpRequest.status network.http.response_code 转换为整数。
httpRequest.userAgent network.http.user_agent 网络 HTTP 用户代理设置为 HTTP 请求用户代理。
insertId network.session_id 网络会话 ID 会设置为插入 ID。
jsonPayload.@metadata.beat metadata.product_event_type 元数据产品事件类型设置为元数据节拍。
jsonPayload.@metadata.version metadata.product_version 元数据产品版本设置为元数据版本。
jsonPayload.destination.ip target.ip 如果存在此值,且未设置其他目标 IP,则使用此值。
jsonPayload.destination.port target.port 如果存在此值,且未设置其他目标端口,则使用此值。转换为整数。
jsonPayload.event1.category security_result.category_details 所有值都会添加到 category_details 中。
jsonPayload.file.path target.file.full_path 如果存在此值,且未设置其他目标路径,则使用此值。
jsonPayload.process.executable principal.process.file.full_path,target.process.file.full_path 如果不存在其他值,则用于设置主体和目标进程的完整路径。
jsonPayload.process.name principal.application 如果存在此值,且未设置其他主应用,则使用此值。
jsonPayload.process.parent.pid principal.process.pid 如果存在此值,且未设置其他主进程 PID,则使用此值。已转换为字符串。
jsonPayload.process.parent.ppid principal.process.parent_process.pid 如果存在此值,且未设置其他主父进程 PID,则使用此值。已转换为字符串。
jsonPayload.process.parent.process.executable principal.process.file.full_path 如果此值存在,且未设置其他主体进程完整路径,则使用此值。
jsonPayload.process.parent.process.exe principal.process.file.full_path 如果此值存在,且未设置其他主体进程完整路径,则使用此值。
jsonPayload.process.parent.process.title principal.process.command_line 如果存在此值,且未设置其他主体进程命令行,则系统会使用此值。
jsonPayload.process.pid target.process.pid 目标进程 PID 会设置为 JSON 载荷进程 PID。
jsonPayload.process.title target.process.command_line 目标进程命令行设置为 JSON 载荷进程标题。
jsonPayload.user.id target.user.userid 如果存在此值,且未设置其他目标用户 ID,则使用此值。已转换为字符串。
jsonPayload.user.name target.user.user_display_name 如果存在此值,且未设置其他目标用户显示名称,则使用此值。
msg metadata.description 元数据说明已设置为相应消息。
network.bytes network.sent_bytes 转换为 uinteger。
network.community_id network.community_id 网络社区 ID 设置为网络社区 ID。
network.transport network.ip_protocol 转换为大写。
package.description security_result.description 安全结果说明设置为软件包说明。
package.name security_result.rule_name 安全结果规则名称会设为软件包名称。
package.reference security_result.about.url 安全结果网址已设置为软件包引用。
package.size security_result.about.file.size 转换为 uinteger。
package.type security_result.about.file.mime_type,security_result.rule_type 安全结果 MIME 类型和规则类型设置为软件包类型。
process.created principal.asset.creation_time 如果该值存在,系统会直接使用该值。解析为 ISO8601。
process.entity_id principal.process.product_specific_process_id 带有“Process:”前缀。
process.executable principal.process.file.full_path,target.process.file.full_path 如果不存在其他值,则用于设置主体和目标进程的完整路径。
process.hash.sha1 principal.process.file.sha1 主进程 SHA-1 设置为进程 SHA-1 哈希。
process.name principal.application 如果存在此值,且未设置其他主应用,则使用此值。
process.pid principal.process.pid 如果存在此值,且未设置其他主进程 PID,则使用此值。已转换为字符串。
process.ppid principal.process.parent_process.pid 如果存在此值,且未设置其他主父进程 PID,则使用此值。已转换为字符串。
process.start principal.asset.creation_time 如果 process.created 不存在,而此字段存在,则使用此值。解析为 ISO8601。
resource.labels.backend_service_name target.resource.name 目标资源名称设置为资源后端服务名称。
resource.labels.forwarding_rule_name target.resource.attribute.labels 添加为键为“转发规则名称”的标签。
resource.labels.project_id target.resource.product_object_id 目标资源产品对象 ID 设置为资源项目 ID。
resource.labels.target_proxy_name target.resource.attribute.labels 添加为键为“目标代理名称”的标签。
resource.labels.url_map_name target.resource.attribute.labels 已添加为键为“网址映射名称”的标签。
server.bytes intermediary.labels 作为键为“Bytes”的标签添加。已转换为字符串。
server.ip intermediary.ip 中介 IP 设置为服务器 IP。
server.packets intermediary.labels 作为键为“Packets”的标签添加。已转换为字符串。
server.port intermediary.port 中间端口设置为服务器端口。转换为整数。
service.type target.application 目标应用已设置为服务类型。
source.bytes src.labels 作为键为“Bytes”的标签添加。已转换为字符串。
source.ip src.ip 来源 IP 设置为来源 IP。
source.packets src.labels 作为键为“Packets”的标签添加。已转换为字符串。
source.port src.port 源端口设置为源端口。转换为整数。
system.audit.host.boottime about.asset.last_boot_time 解析为 ISO8601。
system.audit.host.hostname about.hostname 关于主机名设置为系统审核主机的主机名。
system.audit.host.id principal.user.userid 主用户 ID 会设置为系统审核主机 ID。
system.audit.host.mac.0 about.mac 关于 MAC 地址设置为第一个系统审核主机 MAC 地址。
trace target.process.file.full_path 如果存在此值,且未设置其他目标进程完整路径,则使用此值。
user.effective.id target.user.userid 如果存在此值,且未设置其他目标用户 ID,则使用此值。
user.effective.name target.user.user_display_name 如果存在此值,且未设置其他目标用户显示名称,则使用此值。
user.id target.user.userid 如果存在此值,且未设置其他目标用户 ID,则使用此值。已转换为字符串。
user.name target.user.user_display_name 如果存在此值,且未设置其他目标用户显示名称,则使用此值。
不适用 metadata.event_type 最初设置为“GENERIC_EVENT”。根据解析器代码注释中描述的逻辑进行了更改。
不适用 metadata.log_type 设置为“ELASTIC_AUDITBEAT”。
不适用 metadata.product_name 设置为“Auditbeat”。
不适用 metadata.vendor_name 设置为“Elastic”。
不适用 extensions.auth.type 对于 USER_LOGIN 和 USER_LOGOUT 事件,设置为“AUTHTYPE_UNSPECIFIED”。
auditd.data.syscall metadata.product_event_type 元数据产品事件类型设置为 auditd 系统调用。
process.parent.process.title event.idm.read_only_udm.principal.process.parent_process.command_line 从更新日志映射
process.parent.process.executable event.idm.read_only_udm.principal.process.parent_process.file.full_path 从更新日志映射
process.parent.process.parent.process.executable event.idm.read_only_udm.principal.process.parent_process.parent_process.file.full_path 从更新日志映射
process.parent.process.parent.process.title event.idm.read_only_udm.principal.process.parent_process.parent_process.command_line 从更新日志映射
process.title event.idm.read_only_udm.principal.process.command_line 从更新日志映射
auditd.data.socket.addr event.idm.read_only_udm.target.ip和event.idm.read_only_udm.target.asset.ip之间 从更新日志映射
auditd.data.reason event.idm.read_only_udm.security_result.summary 从更新日志映射
auditd.data.terminal event.idm.read_only_udm.network.application_protocol 从更新日志映射
auditd.summary.object.secondary event.idm.read_only_udm.principal.ip和event.idm.read_only_udm.principal.asset.ip之间 从更新日志映射
auditd.data.addr event.idm.read_only_udm.principal.ip和event.idm.read_only_udm.principal.asset.ip之间 从更新日志映射
auditd.data.hostname event.idm.read_only_udm.principal.ip和event.idm.read_only_udm.principal.asset.ip之间 从更新日志映射
auditd.summary.object.secondary event.idm.read_only_udm.additional.fields 从更新日志映射
auditd.paths event.idm.read_only_udm.additional.fields 从更新日志映射
auditd.data event.idm.read_only_udm.additional.fields 从更新日志映射
auditd.summary.actor event.idm.read_only_udm.additional.fields 从更新日志映射
auditd.summary.object event.idm.read_only_udm.additional.fields 从更新日志映射
container.labels event.idm.read_only_udm.additional.fields 从更新日志映射
container event.idm.read_only_udm.additional.fields 从更新日志映射
user.selinux event.idm.read_only_udm.additional.fields 从更新日志映射
environment event.idm.read_only_udm.additional.fields 从更新日志映射
process.args event.idm.read_only_udm.additional.fields 从更新日志映射
process.parent.process.args event.idm.read_only_udm.additional.fields 从更新日志映射
process.parent.process.parent.process.args event.idm.read_only_udm.additional.fields 从更新日志映射
auditd.msg_type event.idm.read_only_udm.additional.fields 从更新日志映射
auditd.summary.how event.idm.read_only_udm.additional.fields 从更新日志映射
event1.kind event.idm.read_only_udm.additional.fields 从更新日志映射
event1.module event.idm.read_only_udm.additional.fields 从更新日志映射
user.effective.group.id event.idm.read_only_udm.additional.fields 从更新日志映射
user.effective.group.name event.idm.read_only_udm.additional.fields 从更新日志映射
user.filesystem.group.id event.idm.read_only_udm.additional.fields 从更新日志映射
user.filesystem.group.name event.idm.read_only_udm.additional.fields 从更新日志映射
user.filesystem.id event.idm.read_only_udm.additional.fields 从更新日志映射
user.filesystem.name event.idm.read_only_udm.additional.fields 从更新日志映射
user.group.id event.idm.read_only_udm.additional.fields 从更新日志映射
user.group.name event.idm.read_only_udm.additional.fields 从更新日志映射
user.saved.group.id event.idm.read_only_udm.additional.fields 从更新日志映射
user.saved.group.name event.idm.read_only_udm.additional.fields 从更新日志映射
user.saved.id event.idm.read_only_udm.additional.fields 从更新日志映射
user.saved.name event.idm.read_only_udm.additional.fields 从更新日志映射
container.image.name event.idm.read_only_udm.additional.fields 从更新日志映射
process.parent.process.parent.process.start_time event.idm.read_only_udm.additional.fields 从更新日志映射
process.parent.pid event.idm.read_only_udm.principal.process.parent_process.pid 从更新日志映射
process.parent.process.parent.pid event.idm.read_only_udm.principal.process.parent_process.parent_process.pid 从更新日志映射
process.parent.process.parent.process.parent.pid event.idm.read_only_udm.principal.process.parent_process.parent_process.parent_process.pid 从更新日志映射
auditd.result event.idm.read_only_udm.security_result.action_details 从更新日志映射
auditd.result event.idm.read_only_udm.security_result.action 从更新日志映射
auditd.sequence event.idm.read_only_udm.metadata.product_log_id 从更新日志映射
file.name event.idm.read_only_udm.target.file.names 从更新日志映射
file event.idm.read_only_udm.target.resource.attribute.labels 从更新日志映射
auditd.data.socket event.idm.read_only_udm.target.resource.attribute.labels 从更新日志映射
host_os_platform event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
host.os event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
host.containerized event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
process.parent.process.name event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
process.parent.process.parent.process.name event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
process.parent.process.parent.process.owner.id event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
process.parent.process.parent.process.owner.name event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
process.working_directory event.idm.read_only_udm.principal.resource.attribute.labels 从更新日志映射
agent.name event.idm.read_only_udm.observer.resource.attribute.labels 从更新日志映射
file.owner", "file.uid", "file.drive_letter", "file.type", "file.inode", "file.ctime", and "file.mtime target.resource.attribute.labels 从更新日志映射
event.dataset" and "event.type additional.fields 从更新日志映射
tag security_result.category_details 从更新日志映射
agent_ephemeral_id" and "ts additional.fields 从更新日志映射
os_name", "os_build", and "env principal.resource.attribute.labels 从更新日志映射
VIRTUAL_MACHINE principal.resource.resource_type 从更新日志映射
jsonPayload.process.parent.process.pid principal.process.pid 从更新日志映射
jsonPayload.network.direction network.direction 从更新日志映射

更新日志

查看此解析器的更新日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。