Mengonfigurasi akses instance Cloud SQL

BigQuery Data Transfer Service memungkinkan Anda mentransfer data dari instance Cloud SQL pribadi di berbagai project Google Cloud melalui alamat IP internal. Untuk membuat koneksi pribadi ini bagi konektor MySQL BigQuery Data Transfer Service atau konektor PostgreSQL BigQuery Data Transfer Service, Anda mengonfigurasi peering Virtual Private Cloud, Cloud SQL Auth Proxy, dan lampiran jaringan.

Ringkasan arsitektur

Untuk mentransfer data dari instance Cloud SQL pribadi di satu project ke BigQuery di project lain, BigQuery Data Transfer Service memerlukan jaringan konektor untuk menjembatani konektivitas jaringan pribadi.

Peering Jaringan VPC hanya mendukung komunikasi antara jaringan yang di-peering langsung dan tidak meneruskan traffic dari koneksi lain. Oleh karena itu, traffic yang memasuki jaringan VPC melalui lampiran jaringan Private Service Connect tidak dapat melintasi koneksi peering untuk menjangkau jaringan Cloud SQL yang di-peering. Untuk membuat koneksi ini, VM Compute Engine di jaringan konektor menjalankan Cloud SQL Auth Proxy. Proxy menghentikan koneksi masuk dari lampiran jaringan dan membuat koneksi yang diautentikasi ke instance Cloud SQL melalui jaringan yang di-peering.

Diagram berikut mengilustrasikan komponen jaringan dan jalur data antara BigQuery Data Transfer Service dan instance Cloud SQL pribadi:

Sebelum memulai

Pastikan Anda memiliki hal berikut:

• Akses ke project Google Cloud dengan konektor BigQuery Data Transfer Service dan project Google Cloud lainnya dengan instance Cloud SQL.
• Database MySQL atau PostgreSQL yang ada di project Google Cloud .
• Izin yang sesuai untuk membuat jaringan VPC, membuat aturan firewall, dan menginstal software.
• Instance virtual machine (VM).

Menyiapkan peering VPC

Untuk menyiapkan peering VPC, Anda harus membuat peering VPC dari project konektor BigQuery Data Transfer Service, membuat peering VPC di project database Cloud SQL ke project BigQuery Data Transfer Service, serta mengonfigurasi rute dan aturan firewall.

Membuat peering VPC dari project konektor BigQuery Data Transfer Service

1. Di konsol Google Cloud , buka halaman Peering Jaringan VPC untuk project konektor BigQuery Data Transfer Service Anda.

   Buka Peering Jaringan VPC

2. Klik add Create peering connection.

3. Di kolom Nama, masukkan nama konfigurasi peering Anda.

4. Untuk Your VPC network, pilih jaringan VPC yang ingin Anda peering di project konektor BigQuery Data Transfer Service.

5. Untuk Jaringan VPC Peered, pilih opsi Di project lain.

6. Untuk Project ID, masukkan project ID dari project Cloud SQL.

7. Untuk VPC network name, masukkan nama jaringan VPC di project Cloud SQL.

8. Klik Create.

Membuat peering VPC di project database Cloud SQL

Untuk membuat peering VPC di project database Cloud SQL ke project BigQuery Data Transfer Service, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Peering Jaringan VPC untuk project database Cloud SQL Anda.

   Buka Peering Jaringan VPC

2. Klik add Create peering connection.

3. Di kolom Nama, masukkan nama konfigurasi peering Anda.

4. Pilih jaringan VPC yang ingin Anda peering di project database Cloud SQL.

5. Untuk Peer project ID, masukkan project ID dari project BigQuery Data Transfer Service.

6. Untuk Peered VPC network, masukkan nama jaringan VPC di project konektor BigQuery Data Transfer Service.

7. Klik Create.

Mengonfigurasi rute dan aturan firewall

Jika Anda tidak memilih rute impor-ekspor saat mengonfigurasi koneksi peering sebelumnya, ikuti langkah-langkah berikut untuk melakukannya sekarang:

1. Buka halaman Routes untuk project konektor BigQuery Data Transfer Service Anda.

   Buka Rute

2. Pastikan rute ada untuk mengizinkan traffic antara lingkungan VPC yang di-peering.

3. Buka halaman Firewall policies.

   Buka Kebijakan firewall

4. Buat aturan firewall untuk mengizinkan traffic pada port yang diperlukan (misalnya, port 3306 untuk MySQL dan port 5432 untuk PostgreSQL) di antara jaringan yang di-peering.

5. Tambahkan aturan firewall kustom yang diperlukan dari project konektor BigQuery Data Transfer Service ke project yang dihosting database Cloud SQL.

6. Konfigurasikan rute dan aturan firewall untuk project Anda dengan instance Cloud SQL seperti yang Anda lakukan pada langkah sebelumnya.

Menyiapkan Cloud SQL Auth Proxy

1. Gunakan SSH untuk terhubung ke instance virtual machine (VM) di project konektor BigQuery Data Transfer Service.

2. Di terminal, download Cloud SQL Auth Proxy:

   wget https://storage.googleapis.com/cloud-sql-connectors/cloud-sql-proxy/v2.26.2/cloud-sql-proxy.linux.amd64 -O cloud-sql-proxy
   

3. Perbarui izin untuk file yang didownload:

   chmod +x cloud-sql-proxy
   

4. Jalankan Cloud SQL Auth Proxy:

   ./cloud-sql-proxy --address 0.0.0.0 --port PORT NAME &
   

   Ganti kode berikut:

   • PORT: nomor port (3306 untuk MySQL atau 5432 untuk PostgreSQL)
   • NAME: nama koneksi instance Cloud SQL Anda

Menghubungkan ke alamat IP Cloud SQL internal

1. Gunakan alamat IP internal instance Cloud SQL untuk koneksi.
2. Konfigurasikan aplikasi atau alat Anda untuk terhubung ke alamat IP internal, dengan menentukan kredensial dan detail database yang sesuai.

Saat terhubung dari project Google Cloud yang berbeda, gunakan alamat IP internal VM proxy yang Anda deploy sebelumnya. Solusi ini menyelesaikan masalah peering transitif.

Membuat lampiran jaringan

Untuk membuat lampiran jaringan di project konektor BigQuery Data Transfer Service, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Network attachments.

   Buka Network attachments

2. Klik add Create network attachment.

3. Berikan nama untuk lampiran jaringan.

4. Pilih jaringan VPC yang sesuai.

5. Untuk Region, tentukan region tempat konektor BigQuery Data Transfer Service Anda berada.

6. Untuk Subnetwork, pilih opsi yang sesuai dengan penyiapan Anda.

7. Klik Create network attachment.

Menguji koneksi

1. Pastikan VM dengan Cloud SQL Auth Proxy dapat terhubung ke instance Cloud SQL:

   mysql -u USERNAME -p -h IP_ADDRESS
   

   Ganti kode berikut:

   • USERNAME: nama pengguna dari pengguna database
   • IP_ADDRESS: alamat IP instance Cloud SQL

2. Pastikan aplikasi di project konektor BigQuery Data Transfer Service dapat terhubung ke instance Cloud SQL menggunakan IP internal.

Memecahkan masalah

Jika Anda mengalami masalah saat menyiapkan konfigurasi jaringan, lakukan hal berikut:

• Pastikan peering VPC telah dibuat dan rute dikonfigurasi dengan benar.
• Pastikan aturan firewall mengizinkan traffic pada port yang diperlukan.
• Periksa log proxy Cloud SQL untuk menemukan error dan pastikan log tersebut berjalan dengan benar.
• Pastikan lampiran jaringan dikonfigurasi dan terhubung dengan benar.