Recopila registros de auditoría de OpenAI

Compatible con:

En este documento, se explica cómo transferir registros de auditoría de OpenAI a Google Security Operations con Google Cloud Storage V2.

OpenAI proporciona la API de registros de auditoría para las organizaciones que usan la plataforma de APIs de OpenAI. La API hace un seguimiento de las acciones de los usuarios y los cambios de configuración dentro de una organización, incluidos los eventos del ciclo de vida de las claves de API, la administración de usuarios, los cambios en los proyectos, las invitaciones, la actividad de las cuentas de servicio, los eventos de acceso y salida, y los cambios de configuración de la organización.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

  • Una instancia de Google SecOps
  • Un proyecto de GCP con las APIs de Cloud Storage, Cloud Run, Pub/Sub y Cloud Scheduler habilitadas
  • Permisos para crear y administrar buckets de GCS
  • Permisos para administrar políticas de IAM en buckets de GCS
  • Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
  • Rol de propietario de la organización en tu organización de la plataforma de la API de OpenAI

Habilita el registro de auditoría de OpenAI

Antes de poder acceder a los registros de auditoría, debes habilitar el registro de auditoría en tu organización.

  1. Accede a la plataforma de OpenAI en https://platform.openai.com.
  2. Ve a Configuración > Organización > Controles de datos.
  3. Desplázate hacia abajo hasta la sección Registro de auditoría.
  4. Haz clic en Habilitar en Registro de auditoría.
  5. Haz clic en Guardar.

Crea una clave de API de administrador de OpenAI

  1. Accede a la plataforma de OpenAI en https://platform.openai.com.
  2. En el panel de la izquierda, haz clic en Claves de administrador.
  3. Como alternativa, navega directamente a https://platform.openai.com/settings/organization/admin-keys.
  4. Haz clic en Crear nueva clave de administrador.
  5. En el campo Nombre, ingresa un nombre descriptivo (por ejemplo, Google SecOps Integration).
  6. Haz clic en Crear.
  7. Copia la clave de API de inmediato y guárdala de forma segura.

Prueba el acceso a la API

  • Prueba tus credenciales antes de continuar con la integración:

    # Replace with your actual Admin API key
    OPENAI_ADMIN_KEY="your-admin-api-key"
    
    # Test audit logs API access
    curl -s -H "Authorization: Bearer ${OPENAI_ADMIN_KEY}" \
        -H "Content-Type: application/json" \
        "https://api.openai.com/v1/organization/audit_logs?limit=5" \
        | python3 -m json.tool
    

Una respuesta correcta devuelve un objeto JSON con un campo object establecido en list y un array data que contiene entradas de registro de auditoría.

Crea un bucket de Google Cloud Storage

  1. Ve a la consola de Google Cloud.
  2. Selecciona tu proyecto o crea uno nuevo.
  3. En el menú de navegación, ve a Cloud Storage > Buckets.
  4. Haz clic en Crear bucket.
  5. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Asigna un nombre a tu bucket Ingresa un nombre único a nivel global (por ejemplo, openai-auditlog-logs).
    Tipo de ubicación Elige una en función de tus necesidades (región, birregional o multirregional).
    Ubicación Selecciona la ubicación (por ejemplo, us-central1).
    Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia)
    Control de acceso Uniforme (recomendado)
    Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención
  6. Haz clic en Crear.

Crea una cuenta de servicio para la función de Cloud Run

  1. En Google Cloud Console, ve a IAM y administración > Cuentas de servicio.
  2. Haz clic en Crear cuenta de servicio.
  3. Proporciona los siguientes detalles de configuración:
    • Nombre de la cuenta de servicio: Ingresa openai-auditlog-collector-sa
    • Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect OpenAI audit logs
  4. Haz clic en Crear y continuar.
  5. En la sección Otorga acceso al proyecto a esta cuenta de servicio, agrega los siguientes roles:
    1. Haz clic en Selecciona un rol.
    2. Busca y selecciona Administrador de objetos de Storage.
    3. Haz clic en + Agregar otro rol.
    4. Busca y selecciona Invocador de Cloud Run.
    5. Haz clic en + Agregar otro rol.
    6. Busca y selecciona Invocador de Cloud Functions.
  6. Haz clic en Continuar.
  7. Haz clic en Listo.

Otorga permisos de IAM en el bucket de GCS

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en el nombre del bucket (openai-auditlog-logs).
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (openai-auditlog-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Asignar roles: Selecciona Administrador de objetos de Storage
  6. Haz clic en Guardar.

Crear tema de Pub/Sub

  1. En Google Cloud Console, ve a Pub/Sub > Temas.
  2. Haz clic en Crear tema.
  3. Proporciona los siguientes detalles de configuración:
    • ID del tema: Ingresa openai-auditlog-trigger
    • Deja el resto de la configuración con sus valores predeterminados.
  4. Haz clic en Crear.

Crea una función de Cloud Run para recopilar registros

La función de Cloud Run se activará con mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de registros de auditoría de OpenAI y escribirlos en GCS.

  1. En Google Cloud Console, ve a Cloud Run.
  2. Haz clic en Crear servicio.
  3. Selecciona Función (usa un editor directo para crear una función).
  4. En la sección Configurar, proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre del servicio openai-auditlog-collector
    Región Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).
    Tiempo de ejecución Selecciona Python 3.12 o una versión posterior.
  5. En la sección Activador (opcional), haz lo siguiente:

    1. Haz clic en + Agregar activador.
    2. Selecciona Cloud Pub/Sub.
    3. En Selecciona un tema de Cloud Pub/Sub, elige openai-auditlog-trigger.
    4. Haz clic en Guardar.
  6. En la sección Autenticación, haz lo siguiente:

    1. Selecciona Necesita autenticación.
    2. Verifica la Administración de identidades y accesos (IAM).
  7. Desplázate hacia abajo y expande Contenedores, redes y seguridad.

  8. Ve a la pestaña Seguridad:

    • Cuenta de servicio: Selecciona openai-auditlog-collector-sa
  9. Ve a la pestaña Contenedores:

    1. Haz clic en Variables y secretos.
    2. Haz clic en + Agregar variable para cada variable de entorno:
    Nombre de la variable Valor de ejemplo Descripción
    GCS_BUCKET openai-auditlog-logs Nombre del bucket de GCS
    GCS_PREFIX openai-auditlog Prefijo para los archivos de registro
    STATE_KEY openai-auditlog/state.json Ruta de acceso al archivo de estado
    OPENAI_ADMIN_KEY your-admin-api-key Clave de API de administrador de OpenAI
    MAX_RECORDS 5000 Cantidad máxima de registros por ejecución
    PAGE_SIZE 100 Registros por página de API (máx. 100)
    LOOKBACK_HOURS 24 Período de visualización inicial
  10. En la sección Variables y Secrets, desplázate hacia abajo hasta Solicitudes:

    • Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).
  11. Ve a la pestaña Configuración:

    • En la sección Recursos, haz lo siguiente:
      • Memoria: Selecciona 512 MiB o más.
      • CPU: Selecciona 1.
  12. En la sección Escalamiento de revisión, haz lo siguiente:

    • Cantidad mínima de instancias: Ingresa 0.
    • Cantidad máxima de instancias: Ingresa 100.
  13. Haz clic en Crear.

  14. Espera a que se cree el servicio (de 1 a 2 minutos).

  15. Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agregar el código de función

  1. Ingresa main en el campo Punto de entrada.
  2. En el editor de código intercalado, crea dos archivos:

    • main.py:

      import functions_framework
      from google.cloud import storage
      import json
      import os
      import urllib3
      from datetime import datetime, timezone, timedelta
      import time
      
      http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
      )
      
      storage_client = storage.Client()
      
      GCS_BUCKET = os.environ.get('GCS_BUCKET')
      GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openai-auditlog')
      STATE_KEY = os.environ.get('STATE_KEY', 'openai-auditlog/state.json')
      OPENAI_ADMIN_KEY = os.environ.get('OPENAI_ADMIN_KEY')
      MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000'))
      PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
      LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
      
      API_BASE = 'https://api.openai.com'
      AUDIT_LOGS_ENDPOINT = '/v1/organization/audit_logs'
      
      @functions_framework.cloud_event
      def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch OpenAI audit logs
        and write them to GCS.
      
        Args:
          cloud_event: CloudEvent object containing Pub/Sub message
        """
      
        if not all([GCS_BUCKET, OPENAI_ADMIN_KEY]):
          print('Error: Missing required environment variables')
          return
      
        try:
          bucket = storage_client.bucket(GCS_BUCKET)
          state = load_state(bucket)
          now = datetime.now(timezone.utc)
      
          if isinstance(state, dict) and state.get('last_effective_at'):
            try:
              last_effective_at = int(state['last_effective_at'])
              last_time = datetime.fromtimestamp(last_effective_at, tz=timezone.utc)
              last_time = last_time - timedelta(minutes=2)
            except Exception as e:
              print(f"Warning: Could not parse last_effective_at: {e}")
              last_time = now - timedelta(hours=LOOKBACK_HOURS)
          else:
            last_time = now - timedelta(hours=LOOKBACK_HOURS)
      
          start_unix = int(last_time.timestamp())
          end_unix = int(now.timestamp())
      
          print(f"Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}")
      
          records, newest_effective_at = fetch_audit_logs(
            start_unix=start_unix,
            end_unix=end_unix,
            page_size=PAGE_SIZE,
            max_records=MAX_RECORDS,
          )
      
          if not records:
            print("No new audit log records found.")
            save_state(bucket, end_unix)
            return
      
          timestamp = now.strftime('%Y%m%d_%H%M%S')
          object_key = f"{GCS_PREFIX}/openai_auditlog_{timestamp}.ndjson"
          blob = bucket.blob(object_key)
      
          ndjson = '\n'.join(
            [json.dumps(record, ensure_ascii=False) for record in records]
          ) + '\n'
          blob.upload_from_string(ndjson, content_type='application/x-ndjson')
      
          print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
      
          if newest_effective_at:
            save_state(bucket, newest_effective_at)
          else:
            save_state(bucket, end_unix)
      
          print(f"Successfully processed {len(records)} records")
      
        except Exception as e:
          print(f'Error processing audit logs: {str(e)}')
          raise
      
      def load_state(bucket):
        """Load state from GCS."""
        try:
          blob = bucket.blob(STATE_KEY)
          if blob.exists():
            return json.loads(blob.download_as_text())
        except Exception as e:
          print(f"Warning: Could not load state: {e}")
        return {}
      
      def save_state(bucket, last_effective_at):
        """Save the last effective_at Unix timestamp to GCS state file."""
        try:
          state = {
            'last_effective_at': last_effective_at,
            'last_run': datetime.now(timezone.utc).isoformat()
          }
          blob = bucket.blob(STATE_KEY)
          blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
          )
          print(f"Saved state: last_effective_at={last_effective_at}")
        except Exception as e:
          print(f"Warning: Could not save state: {e}")
      
      def fetch_audit_logs(start_unix, end_unix, page_size, max_records):
        """
        Fetch audit logs from the OpenAI API with pagination and rate limiting.
      
        Args:
          start_unix: Start time as Unix seconds
          end_unix: End time as Unix seconds
          page_size: Number of records per page (max 100)
          max_records: Maximum total records to fetch
      
        Returns:
          Tuple of (records list, newest effective_at Unix timestamp)
        """
        headers = {
          'Authorization': f'Bearer {OPENAI_ADMIN_KEY}',
          'Content-Type': 'application/json',
        }
      
        records = []
        newest_effective_at = None
        page_num = 0
        backoff = 1.0
        cursor = None
      
        while True:
          page_num += 1
      
          if len(records) >= max_records:
            print(f"Reached max_records limit ({max_records})")
            break
      
          params = []
          params.append(f"effective_at[gte]={start_unix}")
          params.append(f"effective_at[lte]={end_unix}")
          params.append(f"limit={min(page_size, max_records - len(records))}")
          if cursor:
            params.append(f"after={cursor}")
      
          url = f"{API_BASE}{AUDIT_LOGS_ENDPOINT}?{'&'.join(params)}"
      
          try:
            response = http.request('GET', url, headers=headers)
      
            if response.status == 429:
              retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
              print(f"Rate limited (429). Retrying after {retry_after}s...")
              time.sleep(retry_after)
              backoff = min(backoff * 2, 30.0)
              continue
      
            backoff = 1.0
      
            if response.status != 200:
              print(f"HTTP Error: {response.status}")
              response_text = response.data.decode('utf-8')
              print(f"Response body: {response_text}")
              return [], None
      
            data = json.loads(response.data.decode('utf-8'))
      
            page_results = data.get('data', [])
      
            if not page_results:
              print(f"No more results (empty page)")
              break
      
            print(f"Page {page_num}: Retrieved {len(page_results)} events")
            records.extend(page_results)
      
            for event in page_results:
              try:
                effective_at = event.get('effective_at')
                if effective_at is not None:
                  if newest_effective_at is None or effective_at > newest_effective_at:
                    newest_effective_at = effective_at
              except Exception as e:
                print(f"Warning: Could not parse event time: {e}")
      
            has_more = data.get('has_more', False)
            if not has_more:
              print("No more pages (has_more=false)")
              break
      
            last_id = data.get('last_id')
            if not last_id:
              print("No more pages (no last_id)")
              break
      
            cursor = last_id
      
          except Exception as e:
            print(f"Error fetching audit logs: {e}")
            return [], None
      
        print(f"Retrieved {len(records)} total records from {page_num} pages")
        return records, newest_effective_at
      
    • requirements.txt:

      functions-framework==3.*
      google-cloud-storage==2.*
      urllib3>=2.0.0
      
  3. Haz clic en Implementar para guardar y, luego, implementar la función.

  4. Espera a que se complete la implementación (de 2 a 3 minutos).

Crea un trabajo de Cloud Scheduler

  1. En Google Cloud Console, ve a Cloud Scheduler.
  2. Haz clic en Crear trabajo.
  3. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre openai-auditlog-collector-hourly
    Región Selecciona la misma región que la función de Cloud Run
    Frecuencia 0 * * * * (cada hora, en punto)
    Zona horaria Selecciona la zona horaria (se recomienda UTC)
    Tipo de objetivo Pub/Sub
    Tema Seleccionar openai-auditlog-trigger
    Cuerpo del mensaje {} (objeto JSON vacío)
  4. Haz clic en Crear.

Opciones de frecuencia de programación

Elige la frecuencia según el volumen de registros y los requisitos de latencia:

Frecuencia Expresión cron Caso de uso
Cada 5 minutos */5 * * * * Alto volumen y baja latencia
Cada 15 minutos */15 * * * * Volumen medio
Cada 1 hora 0 * * * * Estándar (recomendado)
Cada 6 horas 0 */6 * * * Procesamiento por lotes de bajo volumen
Diario 0 0 * * * Recopilación de datos históricos

Prueba la integración

  1. En la consola de Cloud Scheduler, busca tu trabajo (openai-auditlog-collector-hourly).
  2. Haz clic en Forzar ejecución para activar el trabajo de forma manual.
  3. Espera unos segundos.
  4. Ve a Cloud Run > Servicios.
  5. Haz clic en openai-auditlog-collector:
  6. Haz clic en la pestaña Registros.
  7. Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:

    Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
    Page 1: Retrieved X events
    Wrote X records to gs://openai-auditlog-logs/openai-auditlog/openai_auditlog_YYYYMMDD_HHMMSS.ndjson
    Successfully processed X records
    
  8. Ve a Cloud Storage > Buckets.

  9. Haz clic en openai-auditlog-logs:

  10. Navega a la carpeta openai-auditlog/:

  11. Verifica que se haya creado un archivo .ndjson nuevo con la marca de tiempo actual.

Si ves errores en los registros, haz lo siguiente:

  • HTTP 401: Verifica que la variable de entorno OPENAI_ADMIN_KEY sea correcta y que no se haya revocado la clave.
  • HTTP 403: Verifica que la clave de API sea una clave de API de Admin creada por un propietario de la organización.
  • HTTP 429: Límite de frecuencia: La función volverá a intentarlo automáticamente con retirada exponencial.
  • Faltan variables de entorno: Verifica que todas las variables requeridas estén configuradas en la configuración de la función de Cloud Run.

Recupera la cuenta de servicio de Google SecOps

  1. Ve a Configuración > Administración de datos > Feeds. Si estás en una plataforma solo de SIEM, ve a Configuración > Feeds.
  2. Haz clic en Agregar feed nuevo.
  3. Haz clic en Configura un feed único.
  4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, OpenAI Audit Logs).
  5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
  6. Selecciona Registros de auditoría de OpenAI como el Tipo de registro. Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio. Por ejemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  7. Copia esta dirección de correo electrónico para usarla en el siguiente paso.

  8. Haz clic en Siguiente.

  9. Especifica valores para los siguientes parámetros de entrada:

    • URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:

      gs://openai-auditlog-logs/openai-auditlog/
      
    • Opción de eliminación del código fuente: Selecciona la opción de eliminación según tu preferencia:
      • Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
      • Borrar archivos transferidos: Borra los archivos después de que se transfirieron correctamente.
      • Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de que se transfirieron correctamente.
    • Antigüedad máxima del archivo: Incluye los archivos modificados en la última cantidad de días (el valor predeterminado es 180 días).
    • Espacio de nombres del recurso: Es el espacio de nombres del recurso.
    • Etiquetas de transferencia: Es la etiqueta que se aplicará a los eventos de este feed.
  10. Haz clic en Siguiente.

  11. Revisa la configuración de tu feed de noticias nuevo en la pantalla Finalizar y, luego, haz clic en Enviar.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en openai-auditlog-logs:
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
    • Asigna roles: Selecciona Visualizador de objetos de Storage.
  6. Haz clic en Guardar.

Tabla de asignación de UDM

Campo de registro Asignación de UDM Lógica
actor.session.ip_address_details.region_code additional.fields Se combinan como pares clave-valor.
actor.session.ip_address_details.asn additional.fields
effective_at metadata.event_timestamp Se convirtió de la marca de tiempo de UNIX
has_principal metadata.event_type Se establece en "STATUS_UPDATE" si has_principal es verdadero; "NETWORK_CONNECTION" si has_principal y has_target son verdaderos; "FILE_COPY" si has_principal, has_file y has_source_file son verdaderos; "FILE_UNCATEGORIZED" si has_principal y has_file son verdaderos; "USER_UNCATEGORIZED" si has_user es verdadero; de lo contrario, "GENERIC_EVENT"
has_user metadata.event_type
has_target metadata.event_type
has_file metadata.event_type
has_source_file metadata.event_type
actor.session.user_agent network.http.parsed_user_agent El valor se copia directamente y se convierte en un usuario-agente analizado.
actor.session.ja3 network.tls.client.ja3 El valor se copia directamente.
actor.session.ip_address principal.asset.ip El valor se copia directamente.
actor.session.ip_address principal.ip El valor se copia directamente.
actor.session.ip_address_details.city principal.location.city El valor se copia directamente.
actor.session.ip_address_details.country principal.location.country_or_region El valor se copia directamente.
actor.session.ip_address_details.latitude principal.location.region_latitude Se convirtió en flotante
actor.session.ip_address_details.longitude principal.location.region_longitude Se convirtió en flotante
actor.session.ip_address_details.region principal.location.state El valor se copia directamente.
actor.session.user.email principal.user.email_addresses El valor se copia directamente.
actor.session.user.id principal.user.userid Se extrajo con el patrón de grok
actor.session.ja4 security_result.detection_fields Se combinó como par clave-valor con la clave "ja4"
tipo security_result.summary El valor se copia directamente.
metadata.product_name metadata.product_name Establece en "OPENAI_AUDITLOG"
metadata.vendor_name metadata.vendor_name Establece en "OPENAI_AUDITLOG"

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.