טעינת נתונים מ-Google Analytics 4 ל-BigQuery
אתם יכולים לטעון נתונים מ-Google Analytics 4 ל-BigQuery באמצעות שירות העברת הנתונים ל-BigQuery למחבר של Google Analytics 4. בעזרת שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Google Analytics 4 ל-BigQuery.
סקירה כללית על המחבר
שירות העברת הנתונים ל-BigQuery עבור המחבר של Google Analytics תומך באפשרויות הבאות להעברת נתונים.
| אפשרויות להעברת נתונים | תמיכה |
|---|---|
| דוחות נתמכים | המחבר של Google Analytics תומך בהעברת נתוני דיווח מ-Google Analytics Data API v1.
במאמר טרנספורמציה של דוחות Google Analytics מוסבר איך דוחות Google Analytics עוברים טרנספורמציה לטבלאות ולתצוגות ב-BigQuery. |
| תדירות החזרה | המחבר של Google Analytics תומך בהעברות נתונים יומיות. כברירת מחדל, העברות הנתונים מתוזמנות למועד שבו הן נוצרות. אפשר להגדיר את מועד העברת הנתונים כשמגדירים את העברת הנתונים. |
| רענון החלון | אתם יכולים לתזמן את העברות הנתונים כדי לאחזר נתונים מ-Google Analytics מ-30 הימים האחרונים, נכון למועד שבו העברת הנתונים מופעלת. אפשר להגדיר את משך הזמן של חלון הרענון כשמגדירים את העברת הנתונים. כברירת מחדל, למחבר של Google Analytics יש חלון רענון של 4 ימים. מידע נוסף זמין במאמר חלונות רענון. |
| זמינות הנתונים למילוי חוסרים | להפעיל מילוי ידני של חוסרים בנתונים כדי לאחזר נתונים מחוץ להעברת הנתונים המתוזמנת. אתם יכולים לאחזר נתונים עד למועד שמאפשרת מדיניות שמירת הנתונים במקור הנתונים שלכם. מידע על מדיניות שמירת הנתונים של Google Analytics זמין במאמר מדיניות שמירת הנתונים של Google Analytics. |
מגבלות
- יכול להיות שהסכומים המצטברים של מדדי המשתמשים והסשנים הנפרדים לא יהיו מדויקים ולא יהיו זהים לערכים ב-Google Analytics.
- המחבר של Google Analytics 4 לא תומך בהעברה של מאפיינים מותאמים אישית.
הטמעת נתונים מהעברות של Google Analytics 4
כשמעבירים נתונים מ-Google Analytics 4 ל-BigQuery, הנתונים נטענים לטבלאות ב-BigQuery שמחולקות לפי תאריך. המחיצה בטבלה שאליה נטענים הנתונים תואמת לתאריך ממקור הנתונים. אם תזמנתם כמה העברות לאותו תאריך, שירות העברת הנתונים ל-BigQuery יחליף את המחיצה של התאריך הספציפי הזה בנתונים העדכניים ביותר. אם מבצעים כמה העברות באותו יום או מפעילים מילויים חוזרים, הנתונים לא משוכפלים והמחיצות של תאריכים אחרים לא מושפעות.רענון החלונות
חלון הרענון הוא מספר הימים שבהם העברת נתונים מאחזרת נתונים כשהיא מתרחשת. לדוגמה, אם חלון הרענון הוא שלושה ימים ומתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery מאחזר את כל הנתונים מטבלת המקור משלושת הימים האחרונים. בדוגמה הזו, כשמתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery יוצר מחיצה חדשה בטבלת היעד ב-BigQuery עם עותק של נתוני טבלת המקור מהיום הנוכחי, ואז מפעיל באופן אוטומטי הרצות של מילוי חוסרים כדי לעדכן את המחיצות בטבלת היעד ב-BigQuery עם נתוני טבלת המקור מהיומיים האחרונים. הפעלות מילוי החוסרים שמופעלות באופן אוטומטי יחליפו את טבלת היעד ב-BigQuery או יעדכנו אותה באופן מצטבר, בהתאם לתמיכה בעדכונים מצטברים במחבר של שירות העברת הנתונים ל-BigQuery.
כשמפעילים העברת נתונים בפעם הראשונה, המערכת מאחזרת את כל נתוני המקור שזמינים בחלון הרענון. לדוגמה, אם חלון הרענון הוא שלושה ימים ואתם מפעילים את העברת הנתונים בפעם הראשונה, שירות העברת הנתונים ל-BigQuery מאחזר את כל נתוני המקור בתוך שלושה ימים.
כדי לאחזר נתונים מחוץ לחלון הרענון, כמו נתונים היסטוריים, או כדי לשחזר נתונים מהפסקות זמניות או פערים בהעברה, אתם יכולים להפעיל או לתזמן הרצה למילוי חוסרים.לפני שמתחילים
לפני שיוצרים העברת נתונים ב-Google Analytics 4, חשוב לעיין בדרישות המוקדמות ובמידע הבאים.
דרישות מוקדמות
- ב-Google Analytics 4, לחשבון המשתמש או לחשבון השירות צריכה להיות גישת צפייה במזהה הנכס שמשמש בהגדרות ההעברה.
- מוודאים שביצעתם את כל הפעולות הנדרשות כדי להפעיל את שירות העברת הנתונים ל-BigQuery.
- יוצרים מערך נתונים ב-BigQuery כדי לאחסן את הנתונים מ-Google Analytics 4.
- אם אתם מתכוונים להגדיר התראות על הפעלת העברות ב-Pub/Sub, ודאו שיש לכם את ההרשאה
pubsub.topics.setIamPolicyלניהול הזהויות והרשאות הגישה (IAM). אם אתם מגדירים רק התראות באימייל, אתם לא צריכים הרשאות Pub/Sub. למידע נוסף, קראו את המאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.
התפקידים הנדרשים ב-BigQuery
כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי ליצור העברת נתונים בשירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:
-
הרשאות לשירות העברת נתונים ל-BigQuery:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
הרשאות ב-BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
מידע נוסף זמין במאמר מתן גישה ל-bigquery.admin.
דוחות מותאמים אישית
המחבר של שירות העברת הנתונים ל-BigQuery עבור Google Analytics תומך בשימוש בדוחות בהתאמה אישית, על ידי ציון מאפיינים ומדדים בהגדרות ההעברה של Google Analytics. הדוחות בהתאמה אישית האלה מטמיעים נתונים מגרסת Google Analytics Data API שנתמכת על ידי שירות העברת הנתונים ל-BigQuery.
אפשר לציין דוח בהתאמה אישית כשיוצרים העברה של Google Analytics.
מגבלות של דוחות בהתאמה אישית
- אפשר להגדיר רק דוח אחד בהתאמה אישית לכל הגדרת העברה.
- בכל דוח בהתאמה אישית אפשר להוסיף עד 9 מאפיינים ו-10 מדדים.
- חלק מהמאפיינים והמדדים לא תואמים זה לזה. לפני שיוצרים את ההעברה, כדאי להשתמש בכלי GA4 Dimensions & Metrics Explorer כדי לאמת את המאפיינים והמדדים של הדוח בהתאמה אישית.
- אין תמיכה במאפיינים ובמדדים מותאמים אישית.
הגדרת העברת נתונים מ-Google Analytics 4
בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף Data transfers במסוף Google Cloud .
לוחצים על Create transfer.
בדף Create transfer, מבצעים את הפעולות הבאות:
- בקטע Source type, בוחרים באפשרות Google Analytics 4 בשדה Source.
בקטע פרטי מקור הנתונים:
- בשדה מזהה הנכס, מזינים מזהה נכס.
- אופציונלי: בשדה Table Filter, מזינים רשימה מופרדת בפסיקים של טבלאות שרוצים לכלול, לדוגמה
Audiences, Events. כדי להחריג טבלאות מסוימות, מוסיפים בתחילת הרשימה את התו-, לדוגמה-Audiences, Events. כברירת מחדל, כל הטבלאות נכללות. - אופציונלי: כדי להטמיע דוחות בהתאמה אישית במקום הדוחות הרגילים, מבצעים את הפעולות הבאות:
- בשדה שם הטבלה של הדוח בהתאמה אישית, מזינים את שם טבלת הפלט של הדוח בהתאמה אישית. מידע נוסף על שמות תקינים של טבלאות זמין במאמר מתן שמות לטבלאות.
- בשדה מאפייני דוח בהתאמה אישית, מזינים את המאפיינים של הדוח בהתאמה אישית. מידע נוסף זמין במאמר דוחות בהתאמה אישית.
- בשדה מדדים של דוחות בהתאמה אישית, מזינים את המדדים של הדוח בהתאמה אישית. מידע נוסף זמין במאמר דוחות בהתאמה אישית.
- אופציונלי: בשדה Refresh window, מזינים את משך הזמן של חלון הרענון בימים. חלון הרענון מוגדר כברירת מחדל ל-4 ימים, ואפשר להגדיר אותו לכל ערך עד 30 יום.
בקטע Destination settings, בתפריט Destination dataset, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.
בקטע Transfer config name, בשדה השם המוצג, מזינים שם להעברת הנתונים. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה מאוחר יותר.
בקטע אפשרויות תזמון:
- בוחרים באפשרות התחלה עכשיו או התחלה בזמן מוגדר, ואז מציינים תאריך התחלה וזמן הרצה.
- בקטע Repeats, בוחרים באיזו תדירות להפעיל את העברת הנתונים. אם בוחרים באפשרות ימים, צריך לציין שעה תקינה ב-UTC.
אופציונלי: בתפריט Service Account, בוחרים חשבון שירות מתוך חשבונות השירות שמשויכים לפרויקט ב- Google Cloud . לחשבון השירות שנבחר צריכים להיות התפקידים הנדרשים כדי להריץ את העברת הנתונים הזו.
אם נכנסתם באמצעות זהות מאוחדת, תצטרכו חשבון שירות כדי ליצור העברת נתונים. אם נכנסתם באמצעות חשבון Google, אתם לא חייבים להשתמש בחשבון שירות להעברת הנתונים. מידע נוסף על שימוש בחשבונות שירות להעברות נתונים זמין במאמר שימוש בחשבונות שירות.
אופציונלי: בקטע אפשרויות להתראות:
- לוחצים על המתג כדי להפעיל את ההתראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם הרצת ההעברה נכשלת.
- לוחצים על המתג כדי להפעיל את ההתראות של Pub/Sub. בקטע Select a Cloud Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic. האפשרות הזו מגדירה התראות על הפעלה של Pub/Sub להעברה.
אופציונלי: אם אתם משתמשים ב-CMEK, בקטע Advanced options בוחרים באפשרות Customer-managed key. תופיע רשימה של מפתחות ה-CMEK הזמינים לבחירה. במאמר ציון מפתח הצפנה בהעברות מוסבר איך מפתחות CMEK פועלים עם שירות העברת הנתונים ל-BigQuery.
לוחצים על Save.
BQ
מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה – --transfer_config. צריך להשתמש בדגלים הבאים:
--data_source--target_dataset--display_name--params
bq mk --transfer_config \ --project_id=PROJECT_ID \ --target_dataset=DATASET \ --display_name=NAME \ --params='PARAMETERS' \ --data_source=DATA_SOURCE
כאשר:
- PROJECT_ID: מזהה הפרויקט. אם לא מציינים את
--project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל. - DATASET: מערך הנתונים של היעד להגדרת העברת הנתונים.
- NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה מאוחר יותר.
- PARAMETERS: הפרמטרים של הגדרת העברת הנתונים שנוצרה בפורמט JSON, לדוגמה,
--params='{"param":"param_value"}'. בהעברות מ-Google Analytics 4, הפרמטרproperty_idנדרש. - DATA_SOURCE: מקור הנתונים –
ga4.
לדוגמה, הפקודה הבאה יוצרת העברת נתונים של Google Analytics 4 בשם My Transfer באמצעות מזהה הנכס 468039345, עם מערך הנתונים לטירגוט mydataset.
העברת הנתונים נוצרת בפרויקט ברירת המחדל:
bq mk --transfer_config --project_id=your_project --target_dataset=mydataset --display_name=My Transfer --params='{"property_id":"468039345"}' --data_source=ga4
API
משתמשים ב-method projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.
ציון מפתח הצפנה בהעברות
אתם יכולים לציין מפתחות הצפנה בניהול הלקוח (CMEK) כדי להצפין נתונים להרצת העברה. אתם יכולים להשתמש ב-CMEK כדי לתמוך בהעברות מ-Google Analytics 4.כשמציינים CMEK בהעברה, שירות העברת הנתונים ל-BigQuery מחיל את ה-CMEK על כל מטמון ביניים בדיסק של נתונים שנשלחו, כך שכל תהליך העבודה של העברת הנתונים תואם ל-CMEK.
אי אפשר לעדכן העברה קיימת כדי להוסיף CMEK אם ההעברה לא נוצרה במקור עם CMEK. לדוגמה, אי אפשר לשנות טבלת יעד שהוצפנה במקור כברירת מחדל, כך שתוצפן עכשיו באמצעות CMEK. באופן דומה, אי אפשר לשנות טבלת יעד שמוצפנת באמצעות CMEK לסוג אחר של הצפנה.
אפשר לעדכן את ה-CMEK של העברה אם הגדרת ההעברה נוצרה במקור עם הצפנת CMEK. כשמעדכנים מפתח CMEK בהגדרות ההעברה, שירות העברת הנתונים ל-BigQuery מעביר את מפתח ה-CMEK לטבלאות היעד בהפעלה הבאה של ההעברה, ומחליף את כל מפתחות ה-CMEK המיושנים במפתח ה-CMEK החדש במהלך ההעברה. מידע נוסף זמין במאמר עדכון העברה.
אפשר גם להשתמש במפתחות ברירת המחדל של הפרויקט. כשמציינים מפתח ברירת מחדל לפרויקט בהעברה, שירות העברת הנתונים ל-BigQuery משתמש במפתח ברירת המחדל של הפרויקט כמפתח ברירת המחדל לכל הגדרות ההעברה החדשות.
תמחור
הפעלת העברה של Google Analytics 4 לא כרוכה בתשלום.
אחרי שהנתונים מועברים ל-BigQuery, חלים התמחורים הרגילים של BigQuery לאחסון ולשאילתות.
מכסה
העברות מ-Google Analytics 4 כפופות למכסות של נכסי Analytics, כפי שהן נאכפות על ידי Google Analytics 4. כדי להגדיל את המכסה לכל נכס, אתם יכולים לשדרג ל-Google Analytics 360.