Memuat data Mailchimp ke BigQuery
Anda dapat memuat data dari Mailchimp ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk Mailchimp. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Mailchimp ke BigQuery. Konektor Mailchimp memiliki dukungan multi-akun, termasuk akun Mailchimp Standard dan Express.
Batasan
- API pemasaran Mailchimp hanya mendukung maksimum 10 koneksi simultan per pengguna. Jika batas ini terlampaui, akan terjadi error
429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections- Untuk menghindari tercapainya pembatasan kapasitas ini, sebaiknya jalankan hanya satu transfer data per akun Mailchimp.
- Untuk mengetahui informasi selengkapnya, lihat Daftar istilah error.
- Jenis data
Integerdi Mailchimp memiliki nilai maksimum yang didukung sebesar 2.147.483.647 di semua objek.- Namun, beberapa kolom Mailchimp mendukung nilai yang lebih tinggi, seperti kolom
QuantitydiEcommerceOrderLinesdanEcommerceCartLines.
- Namun, beberapa kolom Mailchimp mendukung nilai yang lebih tinggi, seperti kolom
- Jika lampiran jaringan Anda dibuat di project Google Cloud yang berbeda dengan project Google Cloud transfer data, Anda harus memberikan izin
compute.networkAttachments.getdancompute.networkAttachments.updatekepada agen layanan yang termasuk dalam project Google Cloud tempat transfer data dibuat.
Batasan kolom array
Konektor Mailchimp tidak mendukung kolom ARRAY di
objek Mailchimp berikut:
| Objek Mailchimp | Kolom ARRAY yang tidak didukung |
|---|---|
Campaigns |
VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations |
EcommerceCarts |
Lines |
EcommerceProducts |
Variants |
ListMembers |
TagsAggregate |
ListMergeFields |
Options_Choices |
Lists |
Modules |
AuthorizedApps |
Users |
AutomationEmails |
Settings_AutoFbPost |
CampaignOpenEmailDetails |
Opens |
EcommerceProductImages |
VariantIds |
ListSignupForms |
Contents, Styles |
ReportEmailActivity |
Activity |
Reports |
Timewarp |
Sebelum memulai
Bagian berikut menjelaskan prasyarat yang perlu Anda lakukan sebelum membuat transfer data Mailchimp.
Prasyarat Mailchimp
Untuk mengaktifkan transfer data dari Mailchimp ke BigQuery, Anda harus memiliki kunci API Mailchimp untuk otorisasi dan akses. Untuk mengetahui informasi tentang cara mendapatkan kunci API, lihat Membuat kunci API.
Prasyarat BigQuery
- Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
- Buat set data BigQuery untuk menyimpan data Anda.
Peran BigQuery yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) di project Anda.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:
-
Izin BigQuery Data Transfer Service:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
Izin BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin.
Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub,
pastikan Anda memiliki izin IAM
pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.
Menyiapkan transfer data Mailchimp
Tambahkan data Mailchimp ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:
Konsol
Buka halaman Data transfers di konsol Google Cloud .
Klik Create transfer.
Di bagian Source type, untuk Source, pilih Mailchimp - Preview.
Di bagian Detail sumber data, lakukan hal berikut:
- Untuk API Key, masukkan kunci API Mailchimp Anda. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Mailchimp.
- Opsional: Untuk Tanggal Mulai, tentukan tanggal mulai untuk data baru
yang akan disertakan dalam transfer data. Hanya data yang dibuat pada atau setelah
tanggal ini yang disertakan dalam transfer data.
- Masukkan tanggal dalam format
YYYY-MM-DD. Nilai minimum adalah2001-01-01.
- Masukkan tanggal dalam format
- Untuk Mailchimp objects to transfer, klik Browse guna memilih objek yang akan ditransfer ke set data tujuan BigQuery. Anda juga dapat memasukkan objek apa pun secara manual untuk disertakan dalam transfer data di kolom ini.
Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data Anda.
Di bagian Transfer config name, untuk Display name, masukkan nama tampilan untuk transfer data.
Di bagian Schedule options:
- Dalam daftar Repeat frequency, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih On-demand, transfer ini akan berjalan saat Anda memicu transfer secara manual.
- Jika perlu, pilih Start now atau Start at set time, lalu masukkan tanggal mulai dan waktu proses.
Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:
- Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
- Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau mengklik Buat topik untuk membuatnya.
Klik Simpan.
bq
Masukkan perintah bq mk
dan berikan flag pembuatan transfer
--transfer_config:
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=NAME --target_dataset=DATASET --params='PARAMETERS'
Ganti kode berikut:
PROJECT_ID(opsional): project ID Google Cloud Anda. Jika--project_idtidak diberikan untuk menentukan project tertentu, project default akan digunakan.DATA_SOURCE: sumber data —mailchimp.NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.DATASET: set data target untuk konfigurasi transfer.PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh:--params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data Mailchimp:assets: jalur ke objek Mailchimp yang akan ditransfer ke BigQuery.connector.authentication.apiKey: kunci API Mailchimp.connector.startDate: (Opsional) tanggal mulai untuk data baru yang akan disertakan dalam transfer data, dalam formatYYYY-MM-DD. Hanya data yang dibuat pada atau setelah tanggal ini yang disertakan dalam transfer data.
Perintah berikut membuat transfer data Mailchimp di project default.
bq mk --transfer_config --target_dataset=mydataset --data_source=mailchimp --display_name='My Transfer' --params='{"assets": "Lists", "connector.authentication.apiKey":"1234567", "connector.startDate":"2025-01-01"}'
Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.
Pemetaan jenis data
Tabel berikut memetakan jenis data Mailchimp ke jenis data BigQuery yang sesuai:
| Jenis data Mailchimp | Jenis data BigQuery | Deskripsi |
|---|---|---|
String |
STRING |
|
Integer |
INT64 |
|
Number | BIGNUMERIC |
Objek data Number Mailchimp dipetakan
ke jenis data BIGNUMERIC untuk kolom terkait keuangan
seperti Price dan OrderTotal, atau
jenis data FLOAT64, untuk kolom lain seperti
Stats_OpenRate dan Location_Latitude. |
Number |
FLOAT64 |
|
Boolean |
BOOLEAN |
|
String dalam format tanggal-waktu |
TIMESTAMP |
Jenis data STRING dalam format tanggal-waktu direpresentasikan dalam format ISO 8601. Contoh
, 2019-08-24T14:15:22Z. |
Harga
Tidak ada biaya untuk mentransfer data Mailchimp ke BigQuery selama fitur ini dalam status Pratinjau.
Memecahkan masalah penyiapan transfer
Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer Mailchimp.
Langkah berikutnya
- Untuk ringkasan BigQuery Data Transfer Service, lihat Apa itu BigQuery Data Transfer Service.
- Untuk informasi cara menggunakan transfer, termasuk mendapatkan informasi tentang konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori pelaksanaan transfer, lihat Mengelola transfer.