הגדרת הגישה למכונה של Cloud SQL

שירות העברת הנתונים ל-BigQuery מאפשר להעביר נתונים ממכונה פרטית של Cloud SQL בין פרויקטים שונים של Google Cloud באמצעות כתובת IP פנימית. כדי ליצור את החיבור הפרטי הזה למחבר MySQL של שירות העברת הנתונים ל-BigQuery או למחבר PostgreSQL של שירות העברת הנתונים ל-BigQuery, צריך להגדיר את התכונות הבאות: Virtual Private Cloud peering,‏ Cloud SQL Auth Proxy ומחבר רשת.

סקירה כללית של הארכיטקטורה

כדי להעביר נתונים ממכונה פרטית של Cloud SQL בפרויקט אחד ל-BigQuery בפרויקט אחר, שירות העברת הנתונים ל-BigQuery צריך רשת מחברים שתגשר על הקישוריות לרשת הפרטית.

קישור בין רשתות VPC שכנות תומך בתקשורת רק בין רשתות שכנות שיש ביניהן קישור ישיר (direct peering), ולא מעביר תנועה מחיבורים אחרים. לכן, תנועה שנכנסת לרשת VPC דרך חיבור לרשת של Private Service Connect לא יכולה לעבור דרך חיבור בין רשתות שכנות (peering) כדי להגיע לרשת Cloud SQL מקושרת. כדי ליצור את החיבור הזה, מכונה וירטואלית של Compute Engine ברשת של המחבר מריצה את Cloud SQL Auth Proxy. שרת ה-proxy מסיים את החיבור הנכנס ממחבר הרשת ויוצר חיבור מאומת למכונה של Cloud SQL דרך הרשת המקושרת.

בתרשים הבא מוצגים רכיבי הרשת ונתיב הנתונים בין שירות העברת הנתונים ל-BigQuery לבין מכונה פרטית של Cloud SQL:

לפני שמתחילים

ודאו שיש לכם:

• גישה לפרויקט ב- Google Cloud עם המחבר של שירות העברת הנתונים ל-BigQuery, ולפרויקט אחר ב- Google Cloud עם המכונה של Cloud SQL.
• מסד נתונים קיים של MySQL או PostgreSQL בפרויקט ב- Google Cloud .
• הרשאות מתאימות כדי ליצור רשת VPC, ליצור כללי חומת אש ולהתקין תוכנה.
• מכונה וירטואלית (VM).

הגדרת קישור בין רשתות VPC שכנות (peering)

כדי להגדיר קישור VPC, צריך ליצור קישור VPC מפרויקט המחבר של שירות העברת הנתונים ל-BigQuery, ליצור קישור VPC בפרויקט של מסד הנתונים ב-Cloud SQL לפרויקט של שירות העברת הנתונים ל-BigQuery, ולהגדיר את המסלולים ואת כללי חומת האש.

יצירת קישור VPC מפרויקט המחבר של שירות העברת הנתונים ל-BigQuery

1. במסוף Google Cloud , נכנסים לדף VPC Network Peering בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

   כניסה לדף VPC Network Peering

2. ‫add לוחצים על Create peering connection.

3. בשדה Name, נותנים שם להגדרת ה-peering.

4. בשדה Your VPC network, בוחרים את רשת ה-VPC שרוצים לקשר בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

5. בשדה Peered VPC network, בוחרים באפשרות In another project.

6. בשדה Project ID, מזינים את מזהה הפרויקט של Cloud SQL.

7. בשדה VPC network name, מזינים את השם של רשת ה-VPC בפרויקט Cloud SQL.

8. לוחצים על יצירה.

יצירת קישור VPC לפרויקט של מסד הנתונים ב-Cloud SQL

כדי ליצור קישור VPC בין פרויקט מסד הנתונים של Cloud SQL לפרויקט של שירות העברת הנתונים ל-BigQuery:

1. במסוף Google Cloud , נכנסים לדף VPC Network Peering בפרויקט של מסד הנתונים ב-Cloud SQL.

   כניסה לדף VPC Network Peering

2. ‫add לוחצים על Create peering connection.

3. בשדה Name, נותנים שם להגדרת ה-peering.

4. בוחרים את רשת ה-VPC שרוצים לקשר בפרויקט של מסד הנתונים ב-Cloud SQL.

5. בשדה Peer project ID, מזינים את מזהה הפרויקט של שירות העברת הנתונים ל-BigQuery.

6. בשדה Peered VPC network, מזינים את השם של רשת ה-VPC בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

7. לוחצים על יצירה.

הגדרת מסלולים וכללים של חומת אש

אם לא בחרתם נתיבי ייבוא-ייצוא כשהגדרתם את חיבורי ה-peering, בצעו את הפעולות הבאות כדי לעשות זאת עכשיו:

1. נכנסים לדף Routes בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

   לדף Routes

2. מוודאים שהנתיבים קיימים כדי לאפשר תעבורת נתונים בין סביבות ה-VPC המקושרות.

3. נכנסים לדף Firewall policies.

   כניסה לדף Firewall policies

4. יוצרים כללים של חומת אש כדי לאפשר תנועה ביציאות הנדרשות (לדוגמה, יציאה 3306 ל-MySQL ויציאה 5432 ל-PostgreSQL) בין הרשתות המקושרות.

5. מוסיפים את כללי חומת האש בהתאמה אישית שנדרשים מפרויקט המחבר של שירות העברת הנתונים ל-BigQuery לפרויקט שמארח את מסד הנתונים של Cloud SQL.

6. מגדירים מסלולים וכללי חומת אש לפרויקט עם המכונה של Cloud SQL, כמו שעשיתם בשלבים הקודמים.

הגדרת Cloud SQL Auth Proxy

1. משתמשים ב-SSH כדי להתחבר למכונה וירטואלית (VM) בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

2. בטרמינל, מורידים את Cloud SQL Auth Proxy:

   wget https://storage.googleapis.com/cloud-sql-connectors/cloud-sql-proxy/v2.26.2/cloud-sql-proxy.linux.amd64 -O cloud-sql-proxy
   

3. מעדכנים את ההרשאות של הקובץ שהורדתם:

   chmod +x cloud-sql-proxy
   

4. מריצים את Cloud SQL Auth Proxy:

   ./cloud-sql-proxy --address 0.0.0.0 --port PORT NAME &
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PORT: מספר היציאה (3306 ל-MySQL או 5432 ל-PostgreSQL)
   • ‫NAME: שם החיבור של המכונה ב-Cloud SQL

התחברות לכתובת ה-IP הפנימית של Cloud SQL

1. משתמשים בכתובת ה-IP הפנימית של המכונה ב-Cloud SQL כדי להתחבר.
2. מגדירים את האפליקציה או הכלי כך שיתחברו לכתובת ה-IP הפנימית, ומציינים את פרטי הכניסה המתאימים ואת פרטי מסד הנתונים.

כשמתחברים מפרויקט אחר ב- Google Cloud , משתמשים בכתובת ה-IP הפנימית של ה-VM של שרת ה-proxy שפרסתם קודם. הפתרון הזה פותר בעיות של קישור טרנזיטיבי בין רשתות שכנות (VPC).

יצירת חיבור הרשת

כדי ליצור את מחבר הרשת בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery:

1. נכנסים לדף מחברי רשת במסוף Google Cloud .

   כניסה לדף Network attachments

2. ‫add לוחצים על יצירת מחבר רשת.

3. נותנים שם לחיבור לרשת.

4. בוחרים את רשת ה-VPC המתאימה.

5. בשדה Region, מציינים את האזור שבו נמצא המחבר של שירות העברת הנתונים ל-BigQuery.

6. בשדה Subnetwork, בוחרים את האפשרות שמתאימה להגדרה שלכם.

7. לוחצים על יצירת מחבר רשת.

בדיקת החיבור

1. מוודאים שה-VM עם Cloud SQL Auth Proxy יכול להתחבר למכונה של Cloud SQL:

   mysql -u USERNAME -p -h IP_ADDRESS
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫USERNAME: שם המשתמש של המשתמש במסד הנתונים
   • ‫IP_ADDRESS: כתובת ה-IP של המכונה ב-Cloud SQL

2. מוודאים שהאפליקציות בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery יכולות להתחבר למכונה של Cloud SQL באמצעות כתובת ה-IP הפנימית.

פתרון בעיות

אם נתקלתם בבעיות בהגדרת הרשת, בצעו את הפעולות הבאות:

• מוודאים שנוצר קישור VPC ושהמסלולים מוגדרים בצורה נכונה.
• מוודאים שהכללים של חומת האש מאפשרים תנועה ביציאות הנדרשות.
• בודקים אם יש שגיאות ביומני ה-proxy של Cloud SQL ומוודאים שהוא פועל כמו שצריך.
• מוודאים שחיבור הרשת מוגדר ומחובר בצורה נכונה.