Introduzione agli audit log in BigQuery

Puoi utilizzare gli audit log di BigQuery per monitorare le attività amministrative e di accesso ai dati nei tuoi progetti. I log sono file di testo che vengono creati automaticamente e registrano chi ha eseguito azioni specifiche, come la creazione di tabelle o l'esecuzione di job, per aiutarti a mantenere la sicurezza e garantire la conformità. Questo documento spiega quando utilizzare gli audit log e fornisce una panoramica del loro formato.

Google Cloud scrive anche log, inclusi gli audit log che forniscono informazioni su problemi operativi relativi all'utilizzo dei servizi Google Cloud . Per saperne di più su come Google Cloud gestisce il logging, consulta la documentazione di Cloud Logging e la panoramica di Cloud Audit Logs.

Audit log e visualizzazioni INFORMATION_SCHEMA

I tuoi progetti Google Cloud contengono gli audit log solo per le risorse che si trovano direttamente all'interno del progetto Google Cloud . Altre risorse Google Cloud , come cartelle, organizzazioni e account di fatturazione, contengono i propri audit log.

Gli audit log ti aiutano a rispondere alla domanda "Chi ha fatto cosa, dove e quando?" all'interno delle tue risorse Google Cloud . Gli audit log sono la fonte di informazioni definitiva per l'attività di sistema in base ai modelli di accesso e utente e dovrebbero essere la tua fonte principale per le domande di controllo o sicurezza.

Le visualizzazioni INFORMATION_SCHEMA in BigQuery sono un'altra fonte di insight che puoi utilizzare insieme a metriche e log. Queste viste contengono metadati su job, set di dati, tabelle e altre entità BigQuery. Ad esempio, puoi ottenere metadati in tempo reale sui job BigQuery eseguiti in un periodo di tempo specificato. In seguito, puoi raggruppare o filtrare i risultati per progetto, utente, tabelle di riferimento e altre dimensioni.

Le viste INFORMATION_SCHEMA forniscono informazioni per eseguire un'analisi più dettagliata dei workload BigQuery, ad esempio:

  • Qual è l'utilizzo medio degli slot per tutte le query negli ultimi sette giorni per un determinato progetto?
  • Quali errori di streaming si sono verificati negli ultimi 30 minuti, raggruppati per codice di errore?

Gli audit log di BigQuery contengono voci di log per le chiamate API, ma non descrivono l'impatto delle chiamate API. Un sottoinsieme di chiamate API crea job (come query e caricamento) le cui informazioni vengono acquisite dalle viste INFORMATION_SCHEMA. Ad esempio, puoi trovare informazioni sull'ora e sugli slot utilizzati da una query specifica nelle visualizzazioni INFORMATION_SCHEMA, ma non negli audit log.

Per ottenere insight sulle prestazioni dei tuoi workload BigQuery in particolare, consulta i metadati dei job, i metadati di streaming e i metadati delle prenotazioni.

Per saperne di più sui tipi di audit log scritti dai servizi Google Cloud , consulta Tipi di audit log.

Formato degli audit log

I serviziGoogle Cloud scrivono gli audit log in un formato JSON strutturato. Il tipo di dati di base per le voci di log Google Cloud è la struttura LogEntry. Questa struttura contiene il nome del log, la risorsa che ha generato la voce di log, il timestamp (UTC) e altre informazioni di base.

I log includono i dettagli dell'evento registrato in un sottocampo chiamato campo payload. Per gli audit log, il campo del payload è denominato protoPayload. Il tipo di questo campo (protoPayload.@type) è impostato su type.googleapis.com/google.cloud.audit.AuditLog, il che indica che il campo utilizza la struttura di log AuditLog.

Per le operazioni su set di dati, tabelle e job, BigQuery scrive gli audit log in due formati diversi, anche se entrambi condividono il tipo di base AuditLog.

Il formato precedente include i seguenti campi e valori:

  • Il valore del campo resource.type è bigquery_resource.
  • BigQuery scrive i dettagli di un'operazione nel campo protoPayload.serviceData. Il valore di questo campo utilizza la struttura di log AuditData.

Il formato più recente include i seguenti campi e valori:

  • Il valore del campo resource.type è bigquery_project o bigquery_dataset. La risorsa bigquery_project contiene voci di log relative ai job, mentre la risorsa bigquery_dataset contiene voci di log relative allo spazio di archiviazione.
  • BigQuery scrive i dettagli di un'operazione nel campo protoPayload.metadata. Il valore di questo campo utilizza la struttura BigQueryAuditMetadata.

Ti consigliamo di utilizzare i log nel formato più recente. Per saperne di più, consulta la guida alla migrazione degli audit log.

Di seguito è riportato un esempio abbreviato di una voce di log che mostra un'operazione non riuscita:

{
  "protoPayload": {
    "@type": "type.googleapis.com/google.cloud.audit.AuditLog",
    "status": {
      "code": 5,
      "message": "Not found: Dataset myproject:mydataset was not found in location US"
    },
    "authenticationInfo": { ... },
    "requestMetadata":  { ... },
    "serviceName": "bigquery.googleapis.com",
    "methodName": "google.cloud.bigquery.v2.JobService.InsertJob",
    "metadata": {
  },
  "resource": {
    "type": "bigquery_project",
    "labels": { .. },
  },
  "severity": "ERROR",
  "logName": "projects/myproject/logs/cloudaudit.googleapis.com%2Fdata_access",
  ...
}

Per le operazioni sulle prenotazioni BigQuery, il campo protoPayload utilizza la struttura AuditLog e i campi protoPayload.request e protoPayload.response contengono ulteriori informazioni. Puoi trovare le definizioni dei campi nell'API BigQuery Reservation. Per saperne di più, consulta Monitoraggio delle prenotazioni BigQuery.

Per informazioni più approfondite sul formato degli audit log, consulta Informazioni sugli audit log.

Limitazioni

I messaggi di log hanno un limite di dimensioni di 100.000 byte. Per saperne di più, consulta Voce di log troncata.

Visibilità e controllo dell'accesso

Gli audit log di BigQuery possono includere informazioni che gli utenti potrebbero considerare sensibili, come testo SQL, definizioni di schemi e identificatori di risorse come tabelle e set di dati. Per informazioni sulla gestione dell'accesso a queste informazioni, consulta la documentazione sul controllo degli accessi di Cloud Logging.

Mappa di telemetria

La tabella seguente mappa le funzionalità e le risorse di BigQuery alla telemetria di monitoraggio operativo, ai servizi e alle risorse API controllati e alla documentazione di riferimento degli audit log. Puoi utilizzarlo per trovare la telemetria necessaria per risolvere i problemi, ottimizzare le prestazioni, controllare i costi, controllare l'utilizzo e mantenere la conformità.

A differenza di molti servizi Google Cloud che scrivono i log dei job operativi in Cloud Logging, BigQuery scrive la telemetria dei job operativi nelle viste dello schema di informazioni, come INFORMATION_SCHEMA.JOBS. Queste visualizzazioni acquisiscono le fasi di esecuzione delle query, l'utilizzo degli slot, i byte fatturati e tutti i job inviati, inclusi quelli in corso e quelli non riusciti.

BigQuery utilizza Logging principalmente per generare Cloud Audit Logs, che registrano le attività amministrative e di accesso ai dati. Quando esegui l'audit di questa attività, puoi determinare chi ha eseguito l'accesso alle risorse o ai dati, dove e quando.

Gli audit log non vengono emessi per ogni interruzione o errore del job. Ad esempio, i job non riusciti non generano eventi TableDataRead o TableDataChange e jobCompletedEvent registra solo i completamenti dei job riusciti. Per i dettagli sugli scenari che non generano audit log, consulta Accesso ai dati nella panoramica degli audit log di BigQuery.

Nella tabella seguente, un asterisco (*) nel nome di una vista INFORMATION_SCHEMA indica varianti della vista specifiche per l'ambito, ad esempio _BY_PROJECT, _BY_USER, _BY_FOLDER e _BY_ORGANIZATION.

Funzionalità o risorsa Monitoraggio operativo Cloud Audit Logs
Query e job

Viste dello schema di informazioni:

  • JOBS*: esecuzione di job in tempo reale e storici, millisecondi slot, byte fatturati, fasi di esecuzione e tutti i job inviati indipendentemente dallo stato di completamento
  • JOBS_TIMELINE*: stato del job e utilizzo degli slot per intervallo di tempo

Console:

Metriche: metriche di Cloud Monitoring, come query/count, query/execution_times e job/num_in_flight.

Servizio API: bigquery.googleapis.com.

Risorse controllate: job in JobService (risorsa monitorata: bigquery_project).

Audit log: log di accesso ai dati che utilizzano BigQueryAuditMetadata (eventi JobInsertion e JobChange), che registrano chi ha inviato o annullato un job, lo stato del job, il tipo di istruzione e le tabelle o le viste di riferimento. Consulta la panoramica degli audit log di BigQuery.
Tabelle e viste

Viste dello schema di informazioni:

  • TABLES: metadati della tabella
  • VIEWS: visualizza definizioni e metadati
  • TABLE_STORAGE*: byte logici e fisici e fatturazione dello spazio di archiviazione
  • PARTITIONS: conteggi delle righe e dimensioni dello spazio di archiviazione della partizione
  • STREAMING_TIMELINE*: throughput ed errori di inserimento di flussi di dati
  • WRITE_API_TIMELINE*: throughput ed errori del flusso di scrittura

Metriche: metriche di Monitoring, come storage/stored_bytes e storage/table_count.

Servizi API: bigquery.googleapis.com e bigquerystorage.googleapis.com. I log di accesso ai dati per l'API BigQuery Storage utilizzano bigquery.googleapis.com, mentre i log di policy rifiutata utilizzano bigquerystorage.googleapis.com.

Risorse controllate: tabelle, viste e viste materializzate in TableService e TableDataService; sessioni di lettura e flussi di scrittura dello spazio di archiviazione in BigQueryRead e BigQueryWrite (risorse monitorate: bigquery_dataset e bigquery_table).

Audit log: log di accesso ai dati che utilizzano BigQueryAuditMetadata (TableDataRead e TableDataChange log eventi per letture, modifiche, campi di riferimento, job di origine e letture e scritture di flussi dell'API BigQuery Storage per le tabelle), oltre ai log di attività di amministrazione, accesso ai dati e log eventi di sistema per gli eventi TableCreation, TableChange e TableDeletion, incluse le modifiche ai criteri di Identity and Access Management (IAM) delle tabelle e le scadenze delle tabelle. Consulta la panoramica degli audit log di BigQuery.
Set di dati

Viste dello schema di informazioni:

Servizio API: bigquery.googleapis.com.

Risorse controllate: set di dati, policy IAM dei set di dati e ACL dei set di dati in DatasetService e IAMPolicy (risorsa monitorata: bigquery_dataset).

Audit log: log di Attività di amministrazione e Accesso ai dati utilizzando BigQueryAuditMetadata (eventi DatasetCreation, DatasetChange e DatasetDeletion), incluse le modifiche alle policy IAM del set di dati in bindingDeltas e gli aggiornamenti delle ACL in accessChanges. Consulta la panoramica degli audit log di BigQuery.
Slot e prenotazioni

Viste dello schema di informazioni:

Console:

Metriche: metriche di Monitoring, come slots/allocated e slots/total_available.

Servizio API: bigqueryreservation.googleapis.com per l'API BigQuery Reservation.

Risorse controllate: prenotazioni, impegni di capacità e assegnazioni di prenotazioni in ReservationService (risorsa monitorata: bigquery_project).

Audit log: log Attività di amministrazione e Accesso ai dati per la creazione, la modifica, l'eliminazione e l'elenco di prenotazioni, impegni di capacità e assegnazioni di progetti o cartelle. Consulta Audit logging dell'API BigQuery Reservation.
Sicurezza a livello di colonna e mascheramento dei dati

Viste dello schema di informazioni:

  • COLUMN_FIELD_PATHS: percorsi di colonne nidificate, tag di policy e assegnazioni di policy dei dati
  • COLUMNS: schemi e tipi di dati delle colonne

Servizi API: datacatalog.googleapis.com per i tag di policy di Data Catalog, bigquerydatapolicy.googleapis.com per l'API BigQuery Data Policy e bigquery.googleapis.com.

Risorse controllate: tassonomie e tag di policy in PolicyTagManager, policy dei dati in DataPolicyService e colonne della tabella con tag di policy (risorse monitorate: audited_resource e bigquery_dataset).

Audit log: log di Attività di amministrazione e Accesso ai dati per la gestione delle tassonomie e dei tag di criteri e per le modifiche alle policy IAM (Tag di policy di controllo); gestione delle policy dei dati e aggiornamenti dei beneficiari (Audit logging di BigQuery Data Policy); e log TableDataRead.fields per le letture sulle colonne protette (Panoramica degli audit log di BigQuery).
Routine, incluse le funzioni definite dall'utente e le stored procedure

Viste dello schema di informazioni:

Servizio API: bigquery.googleapis.com.

Risorse controllate: funzioni definite dall'utente (UDF), funzioni di tabella e stored procedure in RoutineService (risorse monitorate: bigquery_dataset e bigquery_project).

Audit log: log di Attività di amministrazione e Accesso ai dati che utilizzano BigQueryAuditMetadata (eventi RoutineCreation, RoutineChange e RoutineDeletion), oltre agli eventi dei job secondari per le esecuzioni delle stored procedure. Consulta la panoramica degli audit log di BigQuery.
Connessioni esterne

Viste dello schema di informazioni:

  • OBJECT_PRIVILEGES: privilegi di connessione
  • JOBS*: query federate e job di funzioni remote che utilizzano connessioni

Servizio API: bigqueryconnection.googleapis.com per l'API BigQuery Connection.

Risorse controllate: connessioni e policy IAM di connessione in ConnectionService (risorsa monitorata: audited_resource).

Audit log: log di attività di amministrazione e accesso ai dati per la creazione di connessioni, gli aggiornamenti delle credenziali, l'eliminazione, l'elenco e le modifiche alle policy IAM. Consulta Audit logging dell'API BigQuery Connection.
BigQuery sharing

Viste dello schema di informazioni:

Dashboard: dashboard delle metriche di utilizzo della condivisione.

Servizio API: analyticshub.googleapis.com.

Risorse controllate: scambi di dati, schede, abbonamenti e policy IAM di scambio o scheda in AnalyticsHubService (risorsa monitorata: audited_resource).

Audit log: log di attività di amministrazione e accesso ai dati per la creazione, l'aggiornamento e l'eliminazione di scambi di dati e schede, modifiche alle policy IAM e operazioni dei sottoscrittori. Consulta Audit logging della condivisione.
BigQuery Data Transfer Service

Metriche e log:

Servizio API: bigquerydatatransfer.googleapis.com per l'API BigQuery Data Transfer Service.

Risorse controllate: configurazioni dei trasferimenti, esecuzioni dei trasferimenti e origini dati in DataTransferService (risorsa monitorata: audited_resource).

Audit log: log di attività di amministrazione e accesso ai dati per la creazione, l'aggiornamento, l'eliminazione, l'elenco e l'avvio di configurazioni ed esecuzioni di trasferimento. Consulta Audit logging di BigQuery Data Transfer Service.
Cataloghi e tabelle BigLake

Viste dello schema di informazioni:

  • TABLES: metadati della tabella
  • JOBS*: statistiche sulle query di archiviazione di oggetti esterni (metadata_cache_statistics e object_storage_stats)

Servizi API: biglake.googleapis.com e bigquery.googleapis.com.

Risorse controllate: cataloghi, database, tabelle e partizioni del metastore in MetastoreService e HiveMetastoreService, nonché cataloghi, spazi dei nomi e tabelle Apache Iceberg in IcebergCatalogService (risorse monitorate: audited_resource e bigquery_dataset).

Audit log: log Attività di amministrazione e Accesso ai dati per le operazioni relative a policy IAM di catalogo, database, spazio dei nomi, tabella, partizione e catalogo. Consulta Audit logging di BigLake.
BigQuery Migration Service

Stato e report:

  • Stato del job di traduzione SQL batch nella console Google Cloud
  • Stato del workflow e delle attività secondarie nell'API BigQuery Migration
  • Report di riepilogo della traduzione in Cloud Storage

Servizio API: bigquerymigration.googleapis.com per l'API BigQuery Migration.

Risorse controllate: flussi di lavoro di migrazione, attività secondarie di migrazione e richieste di traduzione SQL in MigrationService e SqlTranslationService (risorsa monitorata: audited_resource).

Audit log: log di accesso ai dati per la creazione, l'avvio, l'elenco, la visualizzazione e l'eliminazione di workflow e attività secondarie di migrazione e per la traduzione di query SQL. Consulta Audit logging di BigQuery Migration Service.

Passaggi successivi