Google SecOps 架构和数据流

支持的国家/地区:

现代安全环境会跨云原生基础设施、微服务和分布式端点生成海量遥测数据。传统的安全信息和事件管理 (SIEM) 架构通常难以随着这些数据量的增加而扩展,从而导致查询速度缓慢和可见性碎片化。

Google Security Operations 平台提供了一个统一的高性能安全分析层。它基于为 Google 核心全球服务提供支持的同一基础架构,可提取和查询 PB 级安全遥测数据,延迟时间不到一秒,同时消除了热数据层和冷数据层之间的传统区别。

本文档介绍了 Google SecOps 架构和数据流,涵盖提取、UDM 标准化、YARA-L 威胁检测和自动响应。

情报、分析和响应的融合

Google SecOps 整合了以往相互独立的安全运维功能。它将 SIEM 分析与安全编排、Automation 和响应 (SOAR) 整合到一个紧密耦合的平台中。此外,它还将 Google Threat Intelligence 和 VirusTotal 的威胁情报以及 Gemini 赋能的生成式 AI 功能直接嵌入到调查和检测工作流中。

平台架构概览

Google SecOps 是一个专门的云原生安全平面,构建在核心 Google Cloud 基础架构之上。它继承了底层 Google 服务(包括 Spanner 和 Colossus)的可伸缩性、耐用性和性能属性。

系统上下文

Google SecOps 是安全环境的中央运营平面,负责管理三个主要阶段的数据:

  • 输入:从混合环境(包括本地收集器,例如 Bindplane 代理)、Chronicle API 提取方法和直接第三方软件即服务 (SaaS) 连接器中提取遥测数据。
  • 处理核心:将原始遥测数据标准化为结构化 UDM 架构,使用 YARA-L 检测引擎评估事件,并使用 SOAR 案例管理引擎编排工作流。
  • 输出:向分析师提供切实可行的安全情报和 AI 辅助分类洞见,同时通过 API 和远程代理向目标环境发送自动化遏制命令。

下图说明了系统上下文和数据流。

概要平台架构和生态系统背景

基础设施优势

Google SecOps 的一个关键架构优势是其统一的热存储模型。旧版架构会将较旧的遥测数据移至冷存储,从而减慢查询速度或需要手动重新加载。相比之下,Google SecOps 会将所有提取的遥测数据保留在可编入索引、可搜索的热状态中长达 12 个月。这种设计让您能够以与查询过去一小时数据相同的性能,对一整年的历史数据运行查询。

数据收集和标准化流水线

Google SecOps 使用高吞吐量注入流水线,将原始非结构化日志转换为结构化统一数据模型 (UDM)。在标准化过程中,流水线会使用实体上下文图谱中的上下文元数据来丰富每个事件。

收集架构

数据注入主要通过以下三种途径进行:

  • 收集器:部署在本地网络中、基于代理的收集器(例如 Bindplane 代理或 OpenTelemetry 代理),用于汇总 syslog 和数据包数据。收集器会在传输层 (TLS) 对遥测数据进行缓冲、压缩和加密,然后再将其转发到 Google SecOps。
  • 注入 API:直接 Chronicle API 注入方法,用于从云服务、自定义应用和无服务器流水线注入结构化和非结构化遥测数据。
  • 第三方集成:内置的基于拉取的连接器,可直接从外部 SaaS 平台和 Cloud API(例如 Microsoft 365 或 Microsoft Entra ID)检索日志、提醒和目录数据。

数据收集和准备流水线流程

下图详细说明了从原始数据到 UDM 格式的具体转换步骤。

数据收集和准备流水线流程

统一数据模型架构概览

统一数据模型 (UDM) 可将不同供应商的日志标准化为单一的结构化架构。这种标准表示法可确保等效实体(例如 IP 地址、用户名或文件哈希)在所有日志来源中共享一致的字段路径,从而简化分析和搜索。

UDM 架构

UDM 使用强类型的分层架构来表示安全性事件和实体。它将数据整理为以下核心逻辑结构:

  • 元数据:有关日志事件本身的上下文,包括事件时间戳、提取时间、供应商产品名称和事件类型。
  • 主体:发起活动的操作实体(例如发起活动的用户、主机、IP 地址或进程)。
  • 目标:直接受活动影响的实体(例如目标文件、目标主机或用户账号)。
  • 来源、中介和观察者:参与交易的次要网络参与者(例如转发代理、防火墙或路由跃点)。
  • 网络:网络协议属性和事务工件(包括应用协议、DNS 查询和 HTTP 请求详细信息)。
  • 安全结果:安全设备报告的操作或严重程度结果(例如 ALLOWED、BLOCKED 或 QUARANTINED)。
  • 扩展:不属于标准核心架构的供应商特定自定义字段和键值对。如需详细了解映射定义和解析器开发,请参阅配置自定义解析器和重要的 UDM 字段。

UDM 类图

下图提供了 UDM 的结构蓝图。

UDM 类图

搜索架构

Google SecOps 提供针对不同调查工作流量身定制的强大搜索机制。您可以查询热存储中的标准化遥测数据,对未解析的原始日志执行模式匹配,或搜索结构化案例数据。如需优化指导,请参阅 UDM 搜索最佳实践。

下表总结了整个平台提供的主要搜索功能:

搜索类型 建筑功能
UDM 搜索 主要结构化搜索引擎,用于在 12 个月的活跃窗口期内查询经过归一化和编入索引的 UDM 事件。它支持跨不同日志来源进行多字段过滤、聚合和关联。
原始日志搜索 扫描提取的日志的原始、未解析文本字符串。此功能支持对未映射到特定 UDM 语法的工件和自定义参数进行正则表达式 (regex) 和子字符串搜索。
自然语言搜索 使用 Gemini AI 将自然语言问题直接转换为正式的 UDM 搜索语法,从而加快查询编写和调查工作流。
案例搜索 响应层中的专用搜索引擎,用于查询 SOAR 数据库中的调查案例、提醒、playbook 和带注释的实体元数据。

威胁检测和响应循环

Google SecOps 架构在检测分析和自动响应之间创建了一个持续的反馈环。检测规则会生成高保真度提醒,从而触发响应工作流,而调查结果则会提供反馈,用于优化和调整未来的检测逻辑。

检测漏斗架构

检测引擎采用多阶段漏斗方法,将海量原始安全遥测数据提炼为高保真提醒:

  1. 注入和标准化:系统会持续注入原始日志,并将其格式化为标准 UDM 事件结构。
  2. 扩充:系统会使用别名映射、情境资产数据以及来自 Google Threat Intelligence 等来源的全球威胁情报,动态扩充事件。
  3. 检测评估:有状态 YARA-L 2.0 引擎会根据行为和威胁规则,在更长的时间范围内评估经过丰富的数据。如需了解规则优化指南,请参阅 YARA-L 最佳实践。
  4. 确定优先级和分组:匹配的检测结果会汇总到提醒中,分配动态风险评分,并分组到统一的案例中。

通过将情境资产数据与威胁情报相结合,这种漏斗策略可以过滤掉无害的异常情况(减少假正例),并突出显示真正的威胁(减少假负例),从而帮助您的安全团队专注于可采取行动的突发事件。

修复循环

自动化修复和反馈环

检测和响应流水线将有状态规则评估与自动化分类和遏制相结合:

  1. 持续评估:通过有状态 YARA-L 2.0 检测引擎丰富 UDM 遥测流。
  2. 创建案例和 AI 辅助分类:当满足规则条件时,Google SecOps 会生成提醒并创建案例。AI 赋能的分类和调查智能体会执行动态搜索和威胁情报查询,以评估发现结果。
  3. 自动执行 playbook:如果 AI 筛查确认存在真正例,平台会触发自动响应 playbook(例如通过远程代理隔离端点或暂停用户账号)。如果被归类为假正例,该支持请求会自动关闭。
  4. 持续调优:修复结果和分析师分类判定结果会反馈到系统中,以优化检测阈值并减少未来的假正例。
修复循环

威胁检测层

YARA-L 2.0 引擎使用多阶段流处理流水线评估传入的 UDM 遥测数据,以检测较长时间范围内的行为异常和多事件攻击模式。您还可以使用 Gemini 生成和优化 YARA-L 规则。

每条 YARA-L 规则的处理生命周期都遵循五个不同的评估阶段:

  1. 注入 (Ingest):经过扩充的 UDM 事件会实时进入检测评估流水线。
  2. 过滤 (Filter):系统会根据规则的事件条件(events 部分)评估传入事件。不匹配的事件会被舍弃,而匹配的事件会进入有状态评估阶段。
  3. 匹配时间范围 (Window):在指定的时间范围(从几秒到 12 个月不等)内,匹配事件会按指定的关联键进行分组。随着事件的累积,引擎会跟踪多个并发的有状态计时器(TimerStart 到 TimerEnd)。
  4. 条件评估 (Condition):当匹配窗口关闭或触发时,引擎会评估规则的 condition 部分中定义的阈值要求和数学表达式(例如事件计数、不同阈值或跨数据联接)。
  5. 触发 (Trigger):如果条件的评估结果为 True,引擎会生成检测结果,从而触发提醒并在响应层中打开或更新案例。如果为 False,则系统会清除状态,而不会触发提醒。

规则执行状态机

下图展示了规则执行的生命周期。

规则执行状态机

响应架构和远程执行

Google SecOps SOAR 是该平台的响应支柱。它作为分析层之上的编排引擎,可注入提醒、对案例进行分类并执行自动化响应工作流。

编排、自动化和调查

响应层包含专门的工具,旨在简化安全运维中心 (SOC) 在调查、案例管理和 playbook 自动化方面的工作流:

  • 案例管理:将相关提醒分组到统一案例中,对突发事件队列进行排序和过滤,分配任务,以及在调查过程中开展协作并进行全面的审核跟踪。
  • Playbook 设计器:使用具有预构建集成操作的可视化无代码拖放画布,构建自动响应 playbook。
  • 集成开发环境 (IDE):使用内置的基于代码的 IDE 编写自定义 Python 脚本、修改现有操作集成,以及调试复杂的自动化工作流。
  • 实体调查和安全图谱:使用安全图谱和实体探索器直观呈现攻击途径和实体关系。您还可以在 SIEM 搜索中调查实体,以查看资产、IP 地址、文件哈希、网域和用户上下文。
  • 信息中心和报告:使用开箱即用的信息中心或自定义报告 widget,跟踪 SOC 运营指标、分析师工作负载和平均响应时间 (MTTR)。

SOAR 组件架构

下图展示了传入的提醒如何流入案例管理引擎,并通过可视化 playbook 和自定义 IDE 集成触发自动修复工作流。

SOAR 组件架构

远程代理架构

为了在专用网络(例如本地数据中心或虚拟私有云)中执行修复操作,Google SecOps 依赖于安全的、仅限出站流量的远程代理架构。

在此模式下,Google SecOps 平台绝不会发起到您私有环境的入站连接:

  1. 任务启动:当 playbook 操作需要本地执行时,Google SecOps 会通过托管在 Google Cloud中的安全发布者队列发布指令。
  2. 异步轮询:部署在私有环境中的远程代理会通过 TLS 加密的出站连接持续轮询发布者队列。
  3. 本地执行:检索到任务指令后,远程代理会在本地针对内部安全工具或网络端点执行所需的操作(例如停用账号或屏蔽防火墙端口)。
  4. 状态报告:完成后,远程代理会通过 TLS 将操作状态和执行日志返回到发布者队列,并在 SOAR 案例视图中检索和显示。
远程代理架构

安全、合规和责任共担

作为云原生平台,Google SecOps 采用责任共担模型:Google 负责平台本身的安全,而您负责平台内的安全。

责任共担模型

Google SecOps 继承了 Google Cloud 基础架构的核心安全设计、计算能力和存储架构。在此模式下:

  • Google 管理:物理数据中心安全、底层云基础设施、平台可用性,以及静态数据和传输中数据的默认加密。
  • 您负责管理:数据治理、通过 Identity and Access Management (IAM) 配置的访问权限控制和数据 RBAC、自定义检测规则以及租户合规性设置。

所有合规性要求、数据驻留规则和访问权限政策都会从组织层次结构向下继承并强制执行,通过文件夹和项目应用到受合规性控制的租户。

合规性和企业就绪

为了满足严格的监管和组织治理要求,Google SecOps 提供了合规性受控的租户。这些租户通过 Assured Workloads 强制执行严格的安全标准,同时支持监管合规框架和技术数据保护包。

支持的监管合规框架:

  • FedRAMP:中等和高影响级别(FEDRAMP_MODERATE、FEDRAMP_HIGH)
  • DoD 影响级别:IL4 和 IL5 (IL4_AND_IL5)
  • 医疗保健和金融:HIPAA 和 PCI DSS(HIPAA、PCI_DSS)

如需部署受合规性控制的租户,请将您的 Google SecOps 实例关联到 Google Cloud 项目,该项目位于为所需控制措施套餐配置的 Assured Workloads 文件夹中。

Assured Workloads 配置

数据驻留和 Access Transparency

Google SecOps 强制执行严格的逻辑租户隔离,并支持 Access Transparency,让您能够对管理员数据访问权限进行可验证的控制和审核。

支持的数据安全和驻留套餐:

该平台的安全架构依赖于四层继承模型,其中您的管理安全控制措施建立在 Google 核心基础设施的强化基础之上:

数据驻留和 Access Transparency

四层安全堆栈:

  1. 客户安全控制层:您的顶级管理控制措施,包括通过 Identity and Access Management (IAM) 管理的基于角色的访问控制 (RBAC)、客户管理的加密密钥 (CMEK) 以及区域级数据驻留政策。
  2. 平台安全层:逻辑租户隔离、静态数据和传输中数据的默认加密 (TLS),以及 Access Transparency 审计日志记录。
  3. Google 基础设施层:核心算力和存储基础设施,包括 Borg 集群管理器、Colossus 分布式存储和 Spanner 全球数据库。
  4. 物理安全层:由 Google 企业数据中心、多重生物识别控制和自定义 Titan 安全芯片 (roots of trust) 提供支持的基础安全。

例如,启用 Access Transparency 后,如果 Google 支持或工程专家访问您的租户数据来解决支持服务工单,他们必须提交有效的加密访问理由。此访问请求会被安全地记录下来,并近乎实时地显示在您的审计日志中。

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。