הפעלת ריצות באופן ידני

במאמר הזה מוסבר איך להפעיל באופן ידני את כל תהליך העבודה או רק רכיבים נבחרים בתהליך העבודה.

אתם יכולים להפעיל הרצה של הרכיבים הבאים בתהליך העבודה:

  • כל הפעולות בתהליך העבודה
  • הפעולות שנבחרו
  • פעולות עם התגים שנבחרו

לפני שמתחילים

  1. נכנסים לדף Dataform במסוף Google Cloud .

    כניסה לדף Dataform

  2. בוחרים מאגר או יוצרים מאגר.

  3. בוחרים או יוצרים סביבת עבודה לפיתוח.

  4. מפתחים את תהליך העבודה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להפעלה ידנית של הרצה, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

להפעיל ידנית את כל הפעולות בתהליך העבודה

כדי להפעיל ידנית את כל הפעולות בתהליך העבודה:

  1. עוברים לסביבת עבודה לפיתוח.
  2. לוחצים על התחלת ההפעלה.
  3. לוחצים על פעולות > פעולות מרובות.

  4. בקטע Authentication, מאשרים את ההרצה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials.

      אופציונלי: בקטע Extended access options, בוחרים את ההיקפים הנוספים שנדרשים לתהליך העבודה:

      • ‫Knowledge Catalog: מאפשר עדכוני מטא-נתונים של Google Cloud Knowledge Catalog.
      • ‫Google Drive: מאפשר גישה לקריאה בלבד לקבצים ב-Google Drive.
      • ‫Bigtable: הרשאת קריאה בלבד לנתונים ב-Google Bigtable.

    • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

  5. לוחצים על כל הפעולות.

  6. אופציונלי: כדי לבנות מחדש את כל הטבלאות, בוחרים באפשרות Run with full refresh. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי ליצור אותן מחדש מאפס.

  7. אופציונלי: מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שנועדו להתחיל לפעול במהירות האפשרית. אם לא בוחרים באפשרות הזו, השאילתות מופעלות כמשימות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

  8. אופציונלי: כדי להגביל את מספר הפעולות שיכולות לפעול בו-זמנית במהלך ההפעלה, בוחרים באפשרות Limit concurrent actions, ובשדה Maximum concurrent actions מזינים מספר שלם בין 1 ל-5000.

    אם מספר הפעולות שמוכנות להרצה חורג מהמגבלה שהוגדרה, Dataform מעביר את הפעולות הנותרות לתור עד שמתפנה מקום להרצה בו-זמנית.

    כשמריצים בדיקות יחידה, אין תמיכה במגבלה על פעולות בו-זמניות.

  9. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with user credentials בתור שיטת האימות, אתם צריכים לאשר את חשבון Google.

הפעלה ידנית של הפעולות שנבחרו

כדי להפעיל באופן ידני פעולות שנבחרו, פועלים לפי השלבים הבאים:

  1. עוברים לסביבת העבודה לפיתוח.

  2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

    • לוחצים על פעולות ובוחרים את הפעולה שרוצים להריץ.
    • לוחצים על פעולות > פעולות מרובות.

  3. בקטע Authentication, מאשרים את ההרצה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials.

      אופציונלי: בקטע Extended access options, בוחרים את השירותים הנוספים שנדרשים לתהליך העבודה:

      • ‫Knowledge Catalog: מאפשר עדכוני מטא-נתונים של Google Cloud Knowledge Catalog.
      • ‫Google Drive: מאפשר גישה לקריאה בלבד לקבצים ב-Google Drive.
      • ‫Bigtable: הרשאת קריאה בלבד לנתונים ב-Google Bigtable.

    • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

  4. מוודאים שהאפשרות בחירת פעולות מסומנת.

  5. בתפריט Select actions to execute, בוחרים את הפעולות שרוצים להריץ.

  6. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת יחסי התלות שלהן, בוחרים באפשרות Include dependencies.

  7. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת הפעולות שתלויות בהן, בוחרים באפשרות Include dependents.

  8. אופציונלי: כדי לבנות מחדש את כל הטבלאות, בוחרים באפשרות Run with full refresh.

  9. אופציונלי: מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שנועדו להתחיל לפעול במהירות האפשרית. אם לא בוחרים באפשרות הזו, השאילתות מופעלות כמשימות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

  10. אופציונלי: כדי להגביל את מספר הפעולות שיכולות לפעול בו-זמנית במהלך ההפעלה, בוחרים באפשרות Limit concurrent actions, ובשדה Maximum concurrent actions מזינים מספר שלם בין 1 ל-5000.

    אם מספר הפעולות שמוכנות להרצה חורג מהמגבלה שהוגדרה, Dataform מעביר את הפעולות הנותרות לתור עד שמתפנה מקום להרצה בו-זמנית.

    כשמריצים בדיקות יחידה, אין תמיכה במגבלה על פעולות בו-זמניות.

  11. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with my user credentials בתור שיטת האימות, אתם צריכים לאשר את חשבון Google שלכם.

הפעלה ידנית של פעולות עם תגים נבחרים

כדי להפעיל באופן ידני הרצה של פעולות עם תגים נבחרים, מבצעים את השלבים הבאים:

  1. עוברים לסביבת העבודה לפיתוח.

  2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

    • לוחצים על תגים ובוחרים את התג שרוצים להפעיל.
    • לוחצים על תגים > תגים מרובים.

  3. בקטע Authentication, מאשרים את ההרצה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials.

      אופציונלי: בקטע Extended access options, בוחרים את השירותים הנוספים שנדרשים לתהליך העבודה:

      • ‫Knowledge Catalog: מאפשר עדכוני מטא-נתונים של Google Cloud Knowledge Catalog.
      • ‫Google Drive: מאפשר גישה לקריאה בלבד לקבצים ב-Google Drive.
      • ‫Bigtable: הרשאת קריאה בלבד לנתונים ב-Google Bigtable.

    • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

  4. מוודאים שהאפשרות בחירת תגים מסומנת.

  5. בתפריט Select tags to execute, בוחרים את התגים שרוצים להפעיל.

  6. אופציונלי: כדי להריץ את הפעולות עם התגים שנבחרו והתלויות שלהם, בוחרים באפשרות Include dependencies.

  7. אופציונלי: כדי להריץ את הפעולות עם התגים שנבחרו ואת הפעולות שתלויות בהן, בוחרים באפשרות Include dependents.

  8. אופציונלי: כדי לבנות מחדש את כל הטבלאות, בוחרים באפשרות Run with full refresh. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי ליצור אותן מחדש מאפס.

  9. אופציונלי: מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שנועדו להתחיל לפעול במהירות האפשרית. אם לא בוחרים באפשרות הזו, השאילתות מופעלות כמשימות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

  10. אופציונלי: כדי להגביל את מספר הפעולות שיכולות לפעול בו-זמנית במהלך ההפעלה, בוחרים באפשרות Limit concurrent actions, ובשדה Maximum concurrent actions מזינים מספר שלם בין 1 ל-5000.

    אם מספר הפעולות שמוכנות להרצה חורג מהמגבלה שהוגדרה, Dataform מעביר את הפעולות הנותרות לתור עד שמתפנה מקום להרצה בו-זמנית.

    כשמריצים בדיקות יחידה, אין תמיכה במגבלה על פעולות בו-זמניות.

  11. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with my user credentials בתור שיטת האימות, אתם צריכים לאשר את חשבון Google שלכם.

אישור של חשבון Google

כדי לאמת את המשאב באמצעות פרטי הכניסה של חשבון Google, צריך לתת באופן ידני הרשאה לצינורות עיבוד הנתונים של BigQuery לקבל את אסימון הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לאשר ידנית באמצעות ממשק תיבת הדו-שיח של OAuth. אם בוחרים באחת מאפשרויות הגישה המורחבת, צריך לתת גישה לשירותים האלה, למשל Google Drive או Knowledge Catalog.

צריך לתת הרשאה לצינורות עיבוד הנתונים של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם, פועלים לפי השלבים הבאים:

  1. עוברים אל הדף של החשבון ב-Google.
  2. לוחצים על BigQuery Pipelines.
  3. לוחצים על הסרת הגישה.

הגבלת פעולות בו-זמניות

כברירת מחדל, Dataform מבצע במקביל את כל הפעולות שהתלויות במעלה הזרם שלהן מתקיימות. כש-workflow מכיל הרבה פעולות עצמאיות, הפעלה של כולן בו-זמנית עלולה לגרום לשגיאות של הגבלת קצב של יצירת בקשות ב-BigQuery, למיצוי המכסות של הפרויקט או לניצול כל יחידות הקיבולת של BigQuery.

כדי לשלוט בתחרות על משאבים בלי להוסיף תלויות מלאכותיות בין פעולות עצמאיות ב-SQLX, אתם יכולים להגדיר מגבלה על מספר הפעולות המקסימלי שאפשר לבצע בו-זמנית בהפעלה ידנית או בלוח הזמנים של הגדרת תהליך העבודה.

כשמגדירים מגבלה על פעולות בו-זמניות, Dataform מתחיל לבצע פעולות מוכנות בו-זמנית עד למגבלה שהוגדרה. פעולות נוספות שהתלויות שלהן במעלה הזרם מתקיימות נכנסות למצב QUEUED. כשהפעולות שפועלות מסתיימות ומתפנות משבצות בו-זמניות, Dataform מתחיל את הפעולות שבתור במשבצות הזמינות עד שכל הפעולות מסתיימות. אם הפעלת תהליך עבודה נכשלת או מבוטלת בזמן שפעולות נמצאות בתור, המערכת מדלגת על הפעולות שבתור.

המגבלה חלה על כל הפעלה של תהליך עבודה. כל הפעלה עוקבת אחרי הפעולות שלה בנפרד.

כשמריצים בדיקות יחידה, אין תמיכה במגבלה על פעולות בו-זמניות.

המאמרים הבאים