Introdução ao serviço de transferência de dados do BigQuery
O serviço de transferência de dados do BigQuery permite automatizar transferências de dados programadas e gerenciadas para o BigQuery. Depois de configurar uma transferência de dados, o serviço de transferência de dados do BigQuery carrega dados de forma automática e regular no BigQuery. Também é possível iniciar preenchimentos de dados para se recuperar de eventuais falhas temporárias ou lacunas, fazer cópias de conjuntos de dados e executar consultas programadas. Não é possível usar o serviço de transferência de dados do BigQuery para transferir dados para fora do BigQuery.
Para configurar e gerenciar transferências, use o console doGoogle Cloud , a ferramenta de linha de comando bq ou a API BigQuery Data Transfer Service. A página Pipelines e conexões também oferece um fluxo de trabalho simplificado (pré-lançamento) para criar transferências. Para receber atualizações de serviço, inscreva-se no grupo de avisos do BigQuery DTS.
Fontes de dados compatíveis
O serviço de transferência de dados do BigQuery aceita o carregamento de dados das seguintes fontes de dados:
| Categoria | Fonte de dados |
|---|---|
| Armazenamento em nuvem | Amazon Simple Storage Service (Amazon S3) |
| Armazenamento em nuvem | Armazenamento de blobs do Azure |
| Armazenamento em nuvem | Cloud Storage |
| Bancos de dados e data warehouses | Amazon Redshift |
| Bancos de dados e data warehouses | Metastore do Apache Hive |
| Bancos de dados e data warehouses | Microsoft SQL Server (pré-lançamento) |
| Bancos de dados e data warehouses | MySQL |
| Bancos de dados e data warehouses | Oracle |
| Bancos de dados e data warehouses | PostgreSQL |
| Bancos de dados e data warehouses | Snowflake |
| Bancos de dados e data warehouses | Teradata |
| Serviços do Google | Campaign Manager |
| Serviços do Google | Comparison Shopping Service (CSS) Center (pré-lançamento) |
| Serviços do Google | Display & Video 360 |
| Serviços do Google | Google Ad Manager |
| Serviços do Google | Google Ads |
| Serviços do Google | Google Analytics 4 |
| Serviços do Google | Google Merchant Center (pré-lançamento) |
| Serviços do Google | Google Play |
| Serviços do Google | Search Ads 360 |
| Serviços do Google | Canal do YouTube |
| Serviços do Google | Proprietário do conteúdo no YouTube |
| Plataformas de marketing | Anúncios no Facebook |
| Plataformas de marketing | HubSpot (pré-lançamento) |
| Plataformas de marketing | Klaviyo (pré-lançamento) |
| Plataformas de marketing | Mailchimp (pré-lançamento) |
| Plataformas de pagamento | PayPal (pré-lançamento) |
| Plataformas de pagamento | Shopify (Pré-lançamento) |
| Plataformas de pagamento | Stripe (pré-lançamento) |
| Plataformas SaaS | Salesforce |
| Plataformas SaaS | Salesforce Marketing Cloud |
| Plataformas SaaS | ServiceNow |
Considerações sobre o SLO de entrega de dados
O SLO de entrega de dados se aplica a transferências de dados programadas automaticamente usando o serviço de transferência de dados do BigQuery de fontes no Google Cloud.
Para transferências de dados que envolvem fontes de terceiros ou que não são doGoogle Cloud , as interrupções de serviço com essas fontes podem afetar o desempenho do serviço de transferência de dados do BigQuery. Portanto, o SLO de entrega de dados não se aplica às transferências de dados do serviço de transferência de dados do BigQuery de fontes que não são doGoogle Cloud .
Regiões compatíveis
Assim como o BigQuery, o serviço de transferência de dados do BigQuery é um recurso multirregional, com muitas outras regiões disponíveis.
A localidade de um conjunto de dados do BigQuery é especificada quando você cria um conjunto de dados de destino para armazenar os dados transferidos pelo serviço de transferência de dados do BigQuery. Ao configurar uma transferência, a própria configuração de transferência é definida para o mesmo local do conjunto de dados de destino. O serviço de transferência de dados do BigQuery processa e organiza dados no mesmo local do conjunto de dados de destino.
O serviço de transferência de dados do BigQuery é compatível com transferências de dados de qualquer região em que seus dados estejam armazenados para qualquer local em que o conjunto de dados de destino esteja localizado.
Para informações detalhadas sobre transferências e compatibilidade de regiões para o serviço de transferência de dados do BigQuery, consulte Locais e transferências de conjuntos de dados. Para ver as regiões compatíveis com o BigQuery, consulte Locais de conjuntos de dados.
Como usar slots de reserva com transferências de dados
Os jobs acionados pelo serviço de transferência de dados do BigQuery só usam slots de reserva se o projeto, a pasta ou a organização estiverem atribuídos a uma reserva com um dos seguintes tipos de serviço:
- Jobs de consulta usando
QUERY - Jobs de carregamento usando
PIPELINE
Preços
Para mais informações sobre os preços do serviço de transferência de dados do BigQuery, consulte a página "Preços".
Assim que os dados são transferidos para o BigQuery, são aplicados os preços padrão de armazenamento e consulta do BigQuery.
Cotas
Para informações sobre o cotas do serviço de transferência de dados do BigQuery, consulte a página Cotas e limites.
Resolver problemas nas configurações de transferência
Para informações sobre como resolver problemas com o serviço de transferência de dados do BigQuery, consulte Resolver problemas de configurações de transferência.
A seguir
- Para saber como criar uma transferência, consulte a documentação da fonte de dados.