Carregar dados do Mailchimp no BigQuery
É possível carregar dados do Mailchimp para o BigQuery usando o serviço de transferência de dados do BigQuery para o conector do Mailchimp. Com o serviço de transferência de dados do BigQuery, é possível programar jobs de transferência recorrentes que adicionam os dados mais recentes do Mailchimp ao BigQuery. O conector do Mailchimp é compatível com várias contas, incluindo as contas Standard e Express do Mailchimp.
Limitações
- A API de marketing do Mailchimp só aceita no máximo 10 conexões simultâneas por usuário. Exceder esse limite resulta no erro
429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections- Para evitar atingir esse limite de taxa, recomendamos executar apenas uma transferência de dados por conta do Mailchimp.
- Para mais informações, consulte o Glossário de erros.
- O tipo de dados
Integerno Mailchimp tem um valor máximo aceito de 2.147.483.647 em todos os objetos.- No entanto, alguns campos do Mailchimp aceitam valores mais altos, como o campo
QuantityemEcommerceOrderLineseEcommerceCartLines.
- No entanto, alguns campos do Mailchimp aceitam valores mais altos, como o campo
- Se o anexo de rede foi criado em um projeto do Google Cloud diferente do projeto do Google Cloud da transferência de dados, é necessário conceder as permissões
compute.networkAttachments.getecompute.networkAttachments.updateao agente de serviço que pertence ao projeto do Google Cloud em que a transferência de dados foi criada.
Limitações de campos de matriz
O conector do Mailchimp não é compatível com campos ARRAY nos
seguintes objetos do Mailchimp:
| Objeto do Mailchimp | Campos ARRAY não compatíveis |
|---|---|
Campaigns |
VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations |
EcommerceCarts |
Lines |
EcommerceProducts |
Variants |
ListMembers |
TagsAggregate |
ListMergeFields |
Options_Choices |
Lists |
Modules |
AuthorizedApps |
Users |
AutomationEmails |
Settings_AutoFbPost |
CampaignOpenEmailDetails |
Opens |
EcommerceProductImages |
VariantIds |
ListSignupForms |
Contents, Styles |
ReportEmailActivity |
Activity |
Reports |
Timewarp |
Antes de começar
As seções a seguir descrevem os pré-requisitos que você precisa cumprir antes de criar uma transferência de dados do Mailchimp.
Pré-requisitos do Mailchimp
Para ativar as transferências de dados do Mailchimp para o BigQuery, é preciso ter uma chave de API do Mailchimp para autorização e acesso. Para saber como conseguir uma chave de API, consulte Gerar uma chave de API.
Pré-requisitos do BigQuery
- Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.
- Crie um conjunto de dados do BigQuery para armazenar os dados.
Papéis obrigatórios do BigQuery
Para receber as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery, peça ao administrador para conceder a você o papel do IAM de Administrador do BigQuery (roles/bigquery.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As permissões a seguir são necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery:
-
Permissões do serviço de transferência de dados do BigQuery:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
Permissões do BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Para mais informações, consulte Conceder acesso ao bigquery.admin.
Se você pretende configurar notificações de execução de transferência do Pub/Sub,
verifique se tem a permissão pubsub.topics.setIamPolicy do IAM. As permissões do Pub/Sub não serão necessárias caso você configure notificações por e-mail. Para saber mais informações, consulte
Notificações de execução do serviço de transferência de dados do BigQuery.
Configurar uma transferência de dados do Mailchimp
Adicione dados do Mailchimp ao BigQuery definindo uma configuração de transferência usando uma das seguintes opções:
Console
Acesse a página "Transferências de dados" no console do Google Cloud .
Clique em Criar transferência.
Na seção Tipo de origem, em Origem, escolha Mailchimp - Pré-lançamento.
Na seção Detalhes da fonte de dados, faça o seguinte:
- Em Chave de API, insira sua chave de API do Mailchimp. Para mais informações, consulte Pré-requisitos do Mailchimp.
- Opcional: em Data de início, especifique uma data de início para que novos registros
sejam incluídos na transferência de dados. Somente os registros criados nessa data ou depois dela são incluídos na transferência de dados.
- Insira uma data no formato
YYYY-MM-DD. O valor mínimo é2001-01-01.
- Insira uma data no formato
- Em Objetos do Mailchimp para transferência, clique em Procurar para selecionar os objetos a serem transferidos para o conjunto de dados de destino do BigQuery. Nesse campo, também é possível inserir manualmente qualquer objeto para incluir na transferência de dados.
No campo Conjunto de dados da seção Configurações de destino, escolha o conjunto criado para armazenar seus dados.
No campo Nome de exibição da seção Nome de configuração da transferência, insira um nome para a transferência de dados.
Na seção Opções de programação, faça o seguinte:
- Na lista Frequência de repetição, selecione uma opção para especificar com que frequência essa transferência de dados é executada. Para especificar uma frequência de repetição personalizada, selecione Personalizada. Se você selecionar Sob demanda, essa transferência será executada quando você acionar manualmente a transferência.
- Se aplicável, selecione Começar agora ou Começar no horário definido e escolha uma data de início e hora de execução.
Opcional: na seção Opções de notificação, faça o seguinte:
- Para ativar as notificações por e-mail, clique no botão que ativa as Notificações por e-mail. Quando essa opção está ativada, o administrador da transferência recebe uma notificação por e-mail quando uma execução da transferência falha.
- Para ativar as notificações de execução de transferência do Pub/Sub para essa transferência, clique no botão de alternância Notificações do Pub/Sub. Selecione o nome do tópico ou clique em Criar tópico.
Clique em Salvar.
bq
Insira o comando bq mk e forneça a sinalização de execução da transferência
--transfer_config:
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=NAME --target_dataset=DATASET --params='PARAMETERS'
Substitua:
PROJECT_ID(opcional): o ID do projeto do Google Cloud . Se--project_idnão for fornecido para especificar um projeto determinado, o projeto padrão será usado.DATA_SOURCE: a fonte de dados —mailchimp.NAME: o nome de exibição da configuração da transferência de dados. O nome da transferência pode ser qualquer valor que permita identificá-la, caso você precise modificá-la mais tarde.DATASET: o conjunto de dados de destino na configuração de transferência.PARAMETERSé o parâmetro da configuração de transferência criada no formato JSON. Por exemplo,--params='{"param":"param_value"}'. Confira a seguir os parâmetros de uma transferência de dados do Mailchimp:assets: o caminho para os objetos do Mailchimp a serem transferidos para o BigQuery.connector.authentication.apiKey: a chave de API do Mailchimp.connector.startDate: (opcional) uma data de início para que novos registros sejam incluídos na transferência de dados, no formatoYYYY-MM-DD. Somente os registros criados nessa data ou depois dela são incluídos na transferência de dados.
O comando a seguir cria uma transferência de dados do Mailchimp no projeto padrão.
bq mk --transfer_config --target_dataset=mydataset --data_source=mailchimp --display_name='My Transfer' --params='{"assets": "Lists", "connector.authentication.apiKey":"1234567", "connector.startDate":"2025-01-01"}'
Para executar manualmente uma transferência de dados fora da programação regular, inicie uma execução de preenchimento.
Mapeamento de tipo de dados
A tabela a seguir mapeia os tipos de dados do Mailchimp para os tipos de dados correspondentes do BigQuery:
| Tipo de dados do Mailchimp | Tipo de dados do BigQuery | Descrição |
|---|---|---|
String |
STRING |
|
Integer |
INT64 |
|
Number | BIGNUMERIC |
Os objetos de dados Number do Mailchimp são mapeados
para o tipo de dados BIGNUMERIC para campos relacionados a finanças,
como Price e OrderTotal, ou para o tipo de dados
FLOAT64, para outros campos, como
Stats_OpenRate e Location_Latitude. |
Number |
FLOAT64 |
|
Boolean |
BOOLEAN |
|
String no formato de data e hora |
TIMESTAMP |
Os tipos de dados STRING no formato de data e hora são representados no formato ISO 8601. Por exemplo, 2019-08-24T14:15:22Z. |
Preços
Não há custo para transferir dados do Mailchimp para o BigQuery enquanto esse recurso está em Pré-lançamento.
Resolver problemas na configuração da transferência
Se você tiver problemas para configurar a transferência de dados, consulte Problemas de transferência do Mailchimp.
A seguir
- Para uma visão geral do serviço de transferência de dados do BigQuery, consulte O que é o serviço de transferência de dados do BigQuery.
- Para informações sobre o uso de transferências, incluindo ver detalhes sobre uma configuração de transferência, listar configurações de transferência e visualizar o histórico de execução de uma transferência, consulte Gerenciar transferências.