מבוא להעברה ל-BigQuery

שירות ההעברה ל-BigQuery הוא פתרון מקיף שמאפשר להעביר את מחסן הנתונים (data warehouse) ל-BigQuery. הוא מספק כלים לכל שלב בהעברה – כולל הערכה ותכנון, תרגום SQL למגוון ניבים של SQL והעברת נתונים – כדי לעזור לכם להעביר את עומסי העבודה במינימום מאמץ ידני.

כדי לגשת ל-BigQuery Migration Service, נכנסים לדף BigQuery במסוף Google Cloud ובוחרים באפשרות Migration > Services.

יכולות וכלים להעברה

בעזרת BigQuery Migration Service אתם יכולים:

• הערכה: מתכננים את ההעברה של מחסן הנתונים באמצעות הערכת ההעברה ל-BigQuery.
• ‫Translate SQL: שירותי התרגום ממירים באופן אוטומטי את שאילתות ה-SQL ל-GoogleSQL, כולל התאמה אישית של SQL באמצעות Gemini. כדי להעביר את עומסי העבודה ל-BigQuery, אתם יכולים להשתמש במתרגם SQL באצווה, במתרגם SQL אינטראקטיבי, ב-SQL translation API או בשרת MCP של BigQuery Migration Service.
• העברת נתונים: הגדרת העברת נתונים שטוענת נתונים ממקור הנתונים ל-BigQuery. למידע נוסף, קראו את המאמר מהו שירות העברת הנתונים ל-BigQuery?.
• רישום או העברה של Lakehouse פתוח: העברת מטא-נתונים מקטלוגים חיצוניים, כמו Apache Hive Metastore וקטלוגי REST של Apache Iceberg, לטבלאות של קטלוג REST של Lakehouse ל-Apache Iceberg.

אתם יכולים גם להשתמש בכלים הבאים בקוד פתוח כדי לעזור בתהליך ההעברה:

• הכלי להעברת נתונים: משתמשים בכלי להעברת נתונים כדי להעביר באופן אוטומטי את מחסן הנתונים ל-BigQuery. הכלי משתמש בשירות העברת הנתונים ל-BigQuery, בשירותי התרגום של BigQuery ובכלי לאימות נתונים כדי להעביר נתונים, לתרגם ולאמת שאילתות DDL,‏ DML ו-SQL.
• כלי לאימות נתונים: אחרי שמעבירים את הנתונים ל-BigQuery, מריצים את הכלי לאימות נתונים כדי לוודא שטבלאות המקור והיעד תואמות.
• מיפוי הרשאות ב-BigQuery: אתם יכולים להשתמש במיפוי הרשאות כדי ליצור ולתחזק באופן אוטומטי מפות הרשאות שניתנות לשינוי על ידי המשתמשים. אתם יכולים להשתמש במיפוי ההרשאות כדי לנתח ולתאם הרשאות וקבוצות משתמשים כפולות, וגם ליצור דוחות שגיאות. הכלי יוצר סקריפטים ב-JSON וב-Terraform ליצירת קבוצות, משתמשים וקישורים ב-BigQuery.
• תבניות של Managed Service for Apache Airflow: אתם יכולים להשתמש בתבניות של Managed Service for Apache Airflow כדי לפשט את היצירה של DAG חדשים ב-Airflow, או את ההעברה של משימות מתוזמרות קיימות מהסביבה המקומית לענן.
• ‫Cloud Foundation Fabric: דוגמאות ומודולים של Terraform ל-Google Cloud, כולל תוכנית לאזור נחיתה ברמת הארגון, תוכניות לדוגמה של דפוסי רשת ותכונות מוצרים, וספרייה של מודולים שניתנים להתאמה.

מקורות להעברת נתונים

שירות ההעברה ל-BigQuery תומך בהעברה של מחסני הנתונים הבאים ל-BigQuery:

• Amazon Redshift
• ‫Hadoop,‏ Hive ו-Apache Spark
• IBM Netezza
• ‫Oracle ו-Oracle Exadata
• Snowflake
• Teradata

מכסות

המכסות והמגבלות חלות על מספר המשימות ועל גודל הקבצים. למידע נוסף על המכסות והמגבלות של שירות ההעברה, ראו מכסות ומגבלות.

תמחור

השימוש ב-BigQuery Migration API הוא בחינם. עם זאת, האחסון שמשמש לקובצי קלט ופלט כרוך בעמלות הרגילות. למידע נוסף, ראו תמחור של אחסון.

בנוסף, אתם יכולים להשתמש בפונקציונליות של אומדן העלויות ב-Google Cloud Migration Center כדי ליצור אומדן עלויות להפעלת ההגדרה של מחסן הנתונים שאתם מעבירים ל-BigQuery. למידע נוסף, קראו את המאמרים התחלת הערכת עלות וציון הדרישות של מחסן הנתונים.

המאמרים הבאים

• מידע נוסף על השימוש בשרת MCP של שירות ההעברה ל-BigQuery זמין במאמר איך משתמשים בשרת MCP של שירות ההעברה ל-BigQuery.
• למידע נוסף על מתרגם SQL באצווה, ראו מתרגם SQL באצווה.
• למידע נוסף על השימוש במתרגם האינטראקטיבי של SQL, ראו מתרגם אינטראקטיבי של SQL.
• למידע נוסף על הערכת ההעברה ל-BigQuery, קראו את המאמר הערכת ההעברה ל-BigQuery.
• מידע על Data Validation Tool
• למידע על מכסות ומגבלות של שירות ההעברה ל-BigQuery, קראו את המאמר מכסות ומגבלות.