טעינת נתונים מ-Stripe ל-BigQuery

אתם יכולים לטעון נתונים מ-Stripe ל-BigQuery באמצעות המחבר של Stripe עם שירות העברת הנתונים ל-BigQuery. באמצעות המחבר של Stripe, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Stripe ל-BigQuery.

מגבלות

העברות נתונים מ-Stripe כפופות למגבלות הבאות:

• העברת נתונים מ-Stripe טוענת מטבעות לפי היחידות הקטנות של Stripe. מידע נוסף זמין במאמר יחידות משנה בסכומי API.
• המחבר של Stripe מעביר רק דוחות שנוצרו מראש לכל חשבון Stripe. המחבר של Stripe לא יוצר דוחות חדשים על סמך נתונים חדשים מ-Stripe.
  • כדי להעביר דוחות עדכניים, צריך ליצור את הדוחות באופן ידני במרכז הבקרה של Stripe לפני שמתחילים את העברת הנתונים מ-Stripe.
  • מידע נוסף זמין במאמר Stripe reporting.
• המחבר של Stripe לא תומך באירועים שמבוססים על תגובות לפעולות אינטרנט, בעדכונים בזמן אמת או ב-Stripe Sigma.
• בהעברות נתונים מ-Stripe מאזורים של Stripe שנמצאים בגרסת טרום-השקה (Preview), יכולות להיות בעיות בהעברות הנתונים:
  • אפשרויות הסינון מוגבלות או לא זמינות באזורים שבהם Stripe נמצאת בגרסת טרום-השקה (Preview).
  • באזורים של גרסת טרום-השקה (Preview) של Stripe אין תמיכה בהעברות נתונים ובשאילתות מותנות.
  • יכול להיות שזמני הריצה של העברת הנתונים יהיו ארוכים כשמעבירים נתונים מאזורי תצוגה מקדימה של Stripe.
• המחבר של Stripe תומך באובייקטים מסוימים עם המסנן StartDate.
  • הפורמט הנדרש למסנן StartDate הוא YYYY-MM-DD. אם לא מציינים תאריך התחלה, המחבר משתמש כברירת מחדל בתאריך שחל שלוש שנים לפני התאריך הנוכחי. אם מציינים תאריך לפני 1 בינואר 2011, המחבר משתמש באופן אוטומטי בתאריך 1 בינואר 2011.
  • כאן אפשר למצוא רשימה של אובייקטים שנתמכים ב-StartDate.
• הגדרת העברה אחת יכולה לתמוך רק בהרצה אחת של העברת נתונים בזמן נתון. אם מתוזמנת העברת נתונים שנייה לפני שההעברה הראשונה מסתיימת, רק ההעברה הראשונה תושלם, וכל העברת נתונים אחרת שחופפת להעברה הראשונה תדלג.
  • כדי למנוע דילוג על העברות בהגדרת העברה אחת, מומלץ להגדיל את משך הזמן בין העברות נתונים גדולות על ידי הגדרת תדירות החזרה.
• אם חיבור הרשת נוצר בפרויקט ב- Google Cloud ששונה מהפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים, צריך לתת את ההרשאות compute.networkAttachments.get ו-compute.networkAttachments.update לסוכן השירות ששייך לפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים.

לפני שמתחילים

בקטעים הבאים מוסבר מה צריך לעשות לפני שיוצרים העברת נתונים מ-Stripe.

דרישות מוקדמות לשימוש ב-Stripe

• כדי לאשר העברת נתונים מ-Stripe, צריך להיות לכם חשבון מפתח ב-Stripe. כדי להירשם לחשבון Stripe, עיינו במאמר הרשמה ל-Stripe.
• כדי להגדיר את האפליקציה בפלטפורמת Stripe:
  1. עוברים לקטע Developers (מפתחים) במרכז הבקרה של Stripe.
  2. בקטע Connect, מגדירים את הפלטפורמה כך שתתמוך בחשבונות Standard ו-Express.
• כדי ליצור העברת נתונים מ-Stripe, צריך את הפרטים הבאים:
  • רושמים את מזהה החשבון ב-Stripe. מידע נוסף זמין במאמר יצירת חשבון.
  • חשוב לזכור את המפתח הסודי או המפתח המוגבל. מידע נוסף זמין במאמר מפתחות API.
• אם אתם מתכננים להעביר נתונים מחשבונות מקושרים, ודאו שהפלטפורמה שלכם מוגדרת ל-Stripe Connect ויש לה גישה ליכולות החשבון הנדרשות. מידע נוסף על Stripe Connect זמין במאמר פלטפורמות וזירות מסחר עם Stripe Connect.
  • מידע נוסף על חשבונות מקושרים זמין במאמר סוגי חשבונות מקושרים.

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברה, צריך לבקש מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות ליצירת העברה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

דרישות מוקדמות ל-BigQuery

• מוודאים שביצעתם את כל הפעולות שנדרשות כדי להפעיל את שירות העברת הנתונים ל-BigQuery.
• יוצרים מערך נתונים ב-BigQuery כדי לאחסן את הנתונים.
• אם אתם מתכוונים להגדיר התראות על הפעלת העברות ב-Pub/Sub, ודאו שיש לכם את ההרשאה pubsub.topics.setIamPolicy לניהול הזהויות והרשאות הגישה (IAM). אם אתם מגדירים רק התראות באימייל, אתם לא צריכים הרשאות Pub/Sub. למידע נוסף, קראו את המאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.

סוגי חשבונות Stripe

המחבר של Stripe תומך גם בחשבונות בפלטפורמת Stripe וגם בחשבונות שמקושרים ל-Stripe. מידע נוסף זמין במאמר סוגי חשבונות מקושרים.

קישור לחשבונות בפלטפורמות אחרות

כדי להפעיל העברת נתונים מ-Stripe מחשבון פלטפורמה אחד בלבד, מבצעים את הפעולות הבאות כשמגדירים את ההעברה:

• בשדה Account Id (מזהה החשבון), מזינים את מזהה החשבון בפלטפורמה.
• בשדה סוד/מפתח API, מזינים את הסוד או המפתח המוגבל של החשבון בפלטפורמה.
• במדיניות SyncAllConnectedAccounts, בוחרים באפשרות False.

כדי להפעיל העברת נתונים מ-Stripe לכמה חשבונות, לדוגמה, לחשבון פלטפורמה שמקושר לחשבונות מקושרים, מבצעים את הפעולות הבאות כשמגדירים את ההעברה:

• בשדה Account Id (מזהה החשבון), מזינים את מזהה החשבון בפלטפורמה.
• בשדה סוד/מפתח API, מזינים את הסוד או המפתח המוגבל של החשבון בפלטפורמה.
• במדיניות SyncAllConnectedAccounts, בוחרים באפשרות True.

קישור לחשבונות קשורים

חשבונות מקושרים הם חשבונות Stripe שמקושרים ל-Stripe באמצעות Stripe Connect.

כדי להפעיל העברת נתונים מ-Stripe מחשבון מקושר, מבצעים את הפעולות הבאות כשמגדירים את ההעברה:

• בשדה מזהה חשבון, מזינים את מזהה החשבון בפלטפורמה של החשבון המקושר.
• בשדה סוד/מפתח API, מזינים את הסוד או המפתח המוגבל של חשבון הפלטפורמה שאליו מקושר החשבון המקושר.
• במדיניות SyncAllConnectedAccounts, בוחרים באפשרות False.

הגדרת העברת נתונים מ-Stripe

כדי להוסיף נתונים מ-Stripe ל-BigQuery, צריך להגדיר העברה באחת מהאפשרויות הבאות:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=stripe \
      --display_name='My Transfer' \
      --params= ' {
  "assets" : [ "Customers" , "Accounts", "BalanceSummaryReport"] ,
  "connector.accountId" : "acct_000000000000",
  "connector.secretKey" : "sk_test_000000000",
  "connector.syncAllConnectedAccounts" : "true",
  "connector.startDate": "2025-05-20"
  }'

כדי להפעיל ידנית העברת נתונים מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מופיע מיפוי של סוגי הנתונים ב-Stripe לסוגי הנתונים התואמים ב-BigQuery.

אובייקטים עם תמיכה במסנן StartDate

האובייקטים הבאים של Stripe תומכים במסנן StartDate, שמאפשר לטעון נתונים שמבוססים על זמן:

• חשבונות
• חיובים
• שוברים
• לקוחות
• מחלוקות
• InvoiceItems
• חשבוניות
• PaymentIntent
• תשלומים
• תוכניות
• מחירים
• מוצרים
• PromotionCodes
• החזרים כספיים
• ShippingRates
• מינויים
• TaxRates
• TopUps
• העברות
• ValueListItems
• ValueLists

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברת נתונים מ-Stripe.

תמחור

בשלב התצוגה המקדימה של התכונה הזו, אין עלות להעברת נתונים מ-Stripe ל-BigQuery.

המאמרים הבאים

• לסקירה כללית על שירות העברת הנתונים ל-BigQuery, קראו את המאמר מבוא לשירות העברת הנתונים ל-BigQuery.
• במאמר עבודה עם העברות מוסבר איך משתמשים בהעברות, כולל איך מקבלים מידע על הגדרת העברה, איך מציגים רשימה של הגדרות העברה ואיך מציגים את היסטוריית ההרצה של העברה.
• איך טוענים נתונים באמצעות פעולות של BigQuery Omni