תעבורת נתונים יוצאת (egress) ישירה מ-VPC

תעבורת נתונים יוצאת (egress) ישירה של VPC מספקת פתרון רשת עם ביצועים גבוהים לשירות App Engine, כדי לשלוח תנועה לרשת של ענן וירטואלי פרטי (VPC). תעבורת נתונים יוצאת (egress) ישירה של VPC מאפשרת לעומסי העבודה לגשת בצורה חלקה למשאבים של רשת VPC, ומבטלת את הצורך להגדיר מחברים של חיבור לרשת (VPC) מאפליקציית serverless.

יתרונות מרכזיים

  • ניהול פשוט יותר: אין צורך לנהל את המכונות של המחברים, את סוגי המכונות ואת הגדרות ההתאמה לעומס. ב-App Engine, ההגדרות מטופלות ישירות בקובץ app.yaml של השירות.
  • חיסכון בעלויות: השימוש בתעבורת נתונים יוצאת ישירות ל-VPC לא כרוך בתשלום נוסף, ולא צריך לשלם חיובים חודשיים קבועים על מכונות וירטואליות של מחברים.
  • ביצועים ואמינות משופרים: מכיוון שלא צריך להשתמש במחבר, תעבורת הנתונים היוצאת של Direct VPC מספקת חיבור מהיר ואמין יותר למשאבים של רשת ה-VPC. הוא משתנה בהתאם לגודל של שירות App Engine, ומונע ניתוקים שעלולים להתרחש במחברים במהלך תחזוקה.
  • אבטחה ברמת פירוט גבוהה: אתם יכולים להחיל תגי רשת ישירות על גרסאות השירות של App Engine, וכך להגדיר כללי חומת אש ומדיניות רשת מדויקים וספציפיים לשירות.

  • תמיכה ביומני זרימה של VPC: אתם יכולים להפעיל את יומני הזרימה של VPC ברשת המשנה כדי לתעד את תעבורת הנתונים היוצאת משירות App Engine.

  • תמיכה ב-Cloud NAT: אתם יכולים להגדיר שער Cloud NAT בתת-הרשת כדי לספק שירותי NAT, כמו Public NAT או Private NAT, לתעבורת נתונים יוצאת משירות App Engine.

מגבלות

  • צריכת כתובות IP: השימוש בכתובות IP של השירות משתנה בהתאם למספר המכונות הפועלות, ויכולת ההתאמה לעומס מוגבלת על ידי מספר כתובות ה-IP הזמינות ברשת המשנה שבחרתם.

  • אירועי תחזוקה: יכול להיות שיהיו הפסקות קצרות בחיבור לשירות במהלך אירועי תחזוקה של תשתית הרשת. מומלץ להשתמש בספריות לקוח כדי לטפל באיפוסים מזדמנים של החיבור.

  • הפעלות במצב התחלתי (cold start): זמני ההפעלה הראשוניים במצב התחלתי תלויים באזור ובתרחיש הספציפי לדוגמה. במקרים נדירים, הפעלה קרה יכולה להימשך עד דקה.

  • Direct VPC ingress: ב-App Engine אין תמיכה ב-Direct VPC ingress.

  • מספר המכונות: כברירת מחדל, אפשר להגדיר עד 100 מכונות לכל גרסה של App Engine לשימוש בתעבורת נתונים יוצאת של Direct VPC. אם עומס העבודה שלכם דורש יותר מכונות, אתם יכולים לבקש להגדיל את המכסה.

  • יומני VPC Flow: גרסת השירות של App Engine לא מוצגת ברשומות היומן. שם השירות מופיע בשדה AppEngineServiceDetails.

  • זמינות אזורית: Direct VPC egress זמין רק בהזמנה באזורים מסוימים. כדי לבקש גישה באזורים האלה, צריך לפנות לתמיכה.

הקצאת כתובות IP

כדי להציב את שירות App Engine ברשת VPC, צריך לציין רשת VPC או רשת משנה, או את שתיהן. אם מציינים רק רשת, לרשת המשנה יהיה אותו שם כמו לרשת. ‫App Engine מקצה כתובות IP מתת-הרשת שלכם.

כתובות IP הן זמניות, לכן אל תיצרו כללי מדיניות שמבוססים על כתובות IP ספציפיות. אם אתם צריכים ליצור מדיניות שמבוססת על כתובות IP, כמו בכללי חומת אש, אתם צריכים להשתמש בטווח כתובות ה-IP של רשת המשנה כולה.

כדי לשנות את הרשת או את תת-הרשת שבהן השירות משתמש, צריך לפרוס גרסה חדשה שמשתמשת בערכים החדשים של הרשת ושל תת-הרשת.

הרחבה וצמצום של הפעילות

כדי להגדיל את קצב ההתאמה לעומס (scale up) במהלך עלייה חדה בתנועה, App Engine שומר כתובות IP בבלוקים של 16 (מסכה של תת-רשת 28) בכל פעם. כדי לוודא שיש לכם מספיק כתובות IPv4 זמינות לשימוש ב-App Engine, טווח כתובות ה-IPv4 של רשת המשנה צריך להיות /26 או יותר.

כדי להקצות כתובות IP ביעילות ולנהל אותן בקלות, כדאי להציב כמה משאבים באותה רשת משנה. אם מרחב כתובות ה-IPv4 שלכם מוגבל, תוכלו למצוא אפשרויות נוספות בקטע טווחי IPv4 נתמכים.

כדי למחוק את רשת המשנה, קודם צריך למחוק או לפרוס מחדש את שירות App Engine כדי להפסיק להשתמש ברשת המשנה, ואז להמתין שעה או שעתיים.

צריכת כתובות IP לשירותים

במצב יציב, App Engine משתמשת במספר כתובות IP שגדול פי 2 ממספר המכונות. כשמצמצמים אנכית גרסה, App Engine שומר את כתובות ה-IP שלה למשך עד 20 דקות. בסך הכול, צריך להקצות לפחות פי 2 ממספר כתובות ה-IP, בתוספת מאגר נתונים זמני לעדכוני גרסאות.

לדוגמה, אם משדרגים גרסאות כך ש-version 1 משתנה מ-100 מכונות לאפס, ו-version 2 משתנה מאפס ל-100, App Engine שומר את כתובות ה-IP של version 1 למשך עד 20 דקות אחרי ההתאמה לעומס. במהלך חלון השמירה של 20 דקות, צריך לשמור לפחות 400 כתובות IP‏ ((100 + 100) * 2).

טווחי IPv4 נתמכים

‫App Engine תומך בטווחי ה-IPv4 הבאים של רשת המשנה:

  • RFC 1918
    • 10.0.0.0/8
    • 172.16.0.0/12
    • 192.168.0.0/16
  • RFC 6598
    • 100.64.0.0/10
  • Class E
    • 240.0.0.0/4

לפני שמתחילים

  1. מוודאים שיש לכם רשת VPC קיימת ורשת משנה בפרויקט. אם עדיין אין לכם VPC, אתם יכולים ליצור אחד לפי ההוראות במאמר יצירת רשת VPC.

  2. מפעילים את Compute Engine API ואת Cloud Build API:

    הפעלת ממשקי API

  3. כדי להשתמש ב-Direct VPC egress, צריך לוודא שאתם משתמשים בגרסה העדכנית ביותר של Google Cloud CLI:

    gcloud components update

התפקידים הנדרשים

כדי לוודא של-App Engine יש גישה לרשת ה-VPC, צריך להקצות את התפקידים הבאים לסוכן השירות של App Engine:

  • התפקיד "סוכן שירות של App Engine": כברירת מחדל, לסוכן השירות של App Engine יש את התפקיד "סוכן שירות של App Engine"‏ (roles/appengine.serviceAgent), שכולל את ההרשאות הנדרשות.

  • הרשאות בהתאמה אישית: כדי לקבל שליטה מפורטת יותר, אתם יכולים לתת לסוכן השירות של App Engine את ההרשאות הנוספות הבאות בפרויקט:

    • compute.networks.get
    • compute.subnetworks.get
    • ‫compute.subnetworks.use בפרויקט או ברשת המשנה הספציפית
    • compute.addresses.get
    • compute.addresses.list
    • compute.addresses.create
    • compute.addresses.delete
    • compute.addresses.createInternal
    • compute.addresses.deleteInternal
    • compute.regionOperations.get
  • התפקיד "משתמש ברשת Compute": אם אתם לא משתמשים בתפקיד ברירת המחדל של סוכן השירות של App Engine או בהרשאות בהתאמה אישית, אתם צריכים להקצות לסוכן השירות של App Engine את התפקיד "משתמש ברשת Compute"‏ (roles/compute.networkUser). ברשתות משנה עם כתובת IPv6 חיצונית נדרש גם התפקיד אדמין של כתובת IP ציבורית ב-Compute‏ (roles/compute.publicIpAdmin).

    לדוגמה, כדי להקצות את התפקיד "משתמש ברשת Compute", מריצים את הפקודה הבאה:

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member "serviceAccount:service-PROJECT_NUMBER@gcp-gae-service.iam.gserviceaccount.com" \
    --role "roles/compute.networkUser"

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט.
    • ‫PROJECT_NUMBER: מספר הפרויקט שבו פורסים את שירות App Engine.

הגדרת שירות App Engine עם Direct VPC egress

אתם יכולים להגדיר Direct VPC egress לשירות App Engine באמצעות YAML או Terraform. כדי להפעיל או לנתק את תעבורת הנתונים היוצאת (egress) של Direct VPC, צריך לפרוס גרסה חדשה ולהעביר אליה את התנועה. אפשר גם למחוק קודם את הגרסה שנפרסה, במקום להחליף את מזהה הגרסה הקיים.

YAML

  1. מוסיפים את ההגדרה הבאה של vpc_access לקובץ app.yaml:

    vpc_access:
    network_interface:
     network: NETWORK
     subnet: SUBNET
     tags:
         - NETWORK_TAGS
    vpc_egress: EGRESS_SETTING

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫NETWORK: השם של הרשת הקיימת שאליה מתחברים המכונות של האפליקציה, לדוגמה default. מציינים רשת VPC או רשת משנה, או את שתיהן. אם מציינים רק רשת, לרשת המשנה יהיה אותו שם כמו לרשת.

    • ‫SUBNET: השם של רשת המשנה הקיימת שאליה מתחברים המכונות של האפליקציה, לדוגמה default. מציינים רשת VPC או רשת משנה, או את שתיהן. אם מציינים רק רשת, לרשת המשנה יהיה אותו שם כמו לרשת.

    • אופציונלי: NETWORK_TAGS מפרט את תגי הרשת שצריך לשייך למכונות של שירות App Engine, כדי להשתמש בהם בכללי חומת האש ובמדיניות הניתוב.

    • אופציונלי: EGRESS_SETTING קובע איך תנועה יוצאת מנותבת. השדה הזה תומך בהגדרות הבאות:

      • ‫all-traffic: כל הבקשות היוצאות מנותבות דרך רשת ה-VPC.
      • private-ranges-only (ברירת המחדל): רק תנועה לכתובות IP פנימיות מנותבת דרך רשת ה-VPC. תעבורת הנתונים משתמשת בנתיב ברירת המחדל של App Engine.
  2. מריצים את הפקודה הבאה כדי לפרוס ב-App Engine:

    gcloud app deploy

Terraform

כדי ללמוד איך להחיל הגדרות ב-Terraform או להסיר אותן, ראו פקודות בסיסיות ב-Terraform.

  1. מוסיפים את הבלוק vpc_access הבא למשאב google_app_engine_standard_app_version בהגדרות של Terraform:

    vpc_access {
    vpc_egress = "EGRESS_SETTING"
    network_interfaces {
     network    = "NETWORK"
     subnetwork = "SUBNET"
     tags       = ["TAG_1", "TAG_2"]
    }
    }

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫NETWORK: השם של רשת ה-VPC הקיימת שאליה מתחברים המכונות של האפליקציה, למשל default. מציינים רשת VPC או תת-רשת, או את שתיהן. אם מציינים רק רשת, לרשת המשנה יהיה אותו שם כמו לרשת. אפשר גם להפנות לשם של משאב google_compute_network (לדוגמה, google_compute_network.custom.name).
    • ‫SUBNET: השם של רשת המשנה הקיימת שאליה מתחברים המכונות של האפליקציה, לדוגמה default. מציינים רשת VPC או רשת משנה, או את שתיהן. אם מציינים רק רשת, לרשת המשנה יהיה אותו שם כמו לרשת. אפשר גם להפנות לשם של משאב google_compute_subnetwork (לדוגמה, google_compute_subnetwork.custom.name).
    • אופציונלי: TAG_1, TAG_2 מציג רשימה של תגי רשת שאפשר לשייך למכונות של שירות App Engine, כדי להשתמש בהם בכללי חומת האש ובמדיניות הניתוב.
    • אופציונלי: EGRESS_SETTING קובע איך תנועה יוצאת מנותבת. השדה הזה תומך בהגדרות הבאות:
    • ‫ALL_TRAFFIC: כל הבקשות היוצאות מנותבות דרך רשת ה-VPC.
    • PRIVATE_IP_RANGES (ברירת המחדל): רק תנועה לכתובות IP פנימיות מנותבת דרך רשת ה-VPC. תעבורת הנתונים משתמשת בנתיב ברירת המחדל של App Engine.
  2. אם הגרסה כבר נפרסה בלי תעבורת נתונים יוצאת של Direct VPC, צריך לעדכן את השדה version_id לערך חדש. אי אפשר להפעיל תעבורת נתונים יוצאת של Direct VPC בגרסה קיימת.

  3. מחילים את ההגדרה:

    terraform apply

ניתוק שירות

כדי לנתק את השירות מרשת ה-VPC, משתמשים ב-YAML או ב-Terraform:

YAML

  1. מסירים את הקטע vpc_access מהקובץ app.yaml.

  2. פורסים מחדש את השירות:

    gcloud app deploy

Terraform

  1. מסירים את הבלוק vpc_access מהמשאב google_app_engine_standard_app_version בהגדרות של Terraform.

  2. צריך לעדכן את השדה version_id לערך חדש. אי אפשר להשבית את תעבורת הנתונים היוצאת של Direct VPC בגרסה קיימת.

  3. מחילים את ההגדרה:

    terraform apply

בידוד של תעבורת נתונים יוצאת

כברירת מחדל, כש-vpc_egress מוגדר ל-private-ranges-only, App Engine שולח תעבורת נתונים יוצאת באינטרנט דרך מאגר אזורי של כתובות IP דינמיות שמשותפות לעומסי עבודה בלי שרת (serverless). אל תשתמשו במאגר המשותף שמוגדר כברירת מחדל לעומסי עבודה שתלויים במוניטין של כתובת ה-IP או שיוצרים תנועת בדיקה בנפח גבוה.

במקום זאת, הגדירו את vpc_egress: all-traffic ונתבו את תעבורת הנתונים היוצאת דרך Cloud NAT עם כתובות IP סטטיות ייעודיות לתעבורת נתונים יוצאת במקרים הבאים:

  • השירות שלכם מתחבר לנקודות קצה (endpoints) חיצוניות שרגישות למוניטין, כמו Payment Gateway, מסדי נתונים מתארחים או ממשקי API של שותפים מאחורי חומות אש ליישומי אינטרנט (WAF) של צד שלישי. כתובות IP סטטיות ייעודיות מונעות מתנועה רועשת מדיירים אחרים במאגר המשותף להפעיל חסימות WAF חיצוניות או שגיאות HTTP 403.
  • השירות שלכם מריץ סריקת רשת מורשית, ספירת יציאות, טביעת אצבע של מארח, בדיקת פגיעויות, גירוד נתונים מהאינטרנט או בדיקת עומסים. הפעלת עומסי העבודה האלה במאגר ברירת המחדל של כתובות ה-IP המשותפות פוגעת במוניטין של כתובות ה-IP, עלולה לשבש את השירות ללקוחות אחרים תוך הפרה של Google Cloud מדיניות השימוש המקובל, ועלולה לגרום ל-Google להגביל או להשעות את עומס העבודה שלכם.

כשמריצים סריקה מורשית או עומסי עבודה עם הרבה חיבורים דרך Cloud NAT, צריך להקצות מספיק כתובות IP סטטיות ולהגדיר שמירת יציאות כדי למנוע מצב שבו כל היציאות תפוסות.

פתרון בעיות

בקטע הזה מתוארות השגיאות הנפוצות שעלולות להתרחש כשפורסים את שירות App Engine עם Direct VPC egress.

אי אפשר למחוק את רשת המשנה

כדי למחוק רשת משנה, קודם צריך למחוק או לפרוס מחדש את כל המשאבים שמשתמשים בה. אם App Engine משתמש בתת-רשת, צריך לנתק את השירות של App Engine מרשת ה-VPC או להעביר אותו לתת-רשת אחרת לפני שמוחקים את תת-הרשת.

כשלים בפריסה

אם הפריסה נכשלת, ב-Google Cloud CLI מוצגות הודעות שגיאה שמציינות את שורש הבעיה. הנה כמה בעיות נפוצות:

  • מטא-נתונים שגויים של VPC, כמו איות שגוי של שם הרשת או של תת-הרשת בקובץ app.yaml. כדי לתקן שגיאות אפשריות, בודקים את הגדרות ה-VPC בקובץ app.yaml.

  • הרשאות IAM לא מספיקות. חשוב לוודא שנתתם את ההרשאות הנדרשות לסוכן השירות של App Engine. אם נתקלתם בשגיאות הרשאה במהלך הפריסה, ודאו שהקציתם את התפקידים הנוספים הבאים לחשבון השירות לפריסה:

מיצוי כתובות IP

אם נגמרות כתובות ה-IP הזמינות בתת-הרשת, App Engine לא מצליח להפעיל מכונות חדשות ומתעד שגיאה ביומן. כדי לפתור את הבעיה, צריך להרחיב את טווח כתובות ה-IP של תת-הרשת או להעביר את השירות לתת-רשת גדולה יותר.

זליגות של כתובות IP

זליגות של כתובות IP עלולות להוביל לניצול מלא של כתובות ה-IP. בדרך כלל אין דליפות של כתובות IP במהלך פעולות רגילות, אבל הן יכולות לקרות מהסיבות הבאות:

  • לסוכן השירות של App Engine יש רק הרשאות לשמירת כתובות (create,‏ createInternal) ואין לו הרשאות לשחרור כתובות (delete,‏ deleteInternal).
  • סוכן השירות של App Engine נמחק בזמן שהזמנות אחרות של כתובות Google Cloud היו פעילות.
  • החשבון לחיוב ב-Cloud הוסר מהפרויקט והופעל בו מחדש מאוחר יותר, בזמן שההזמנות של כתובות ללא שרת היו פעילות.
  • הפרויקט Google Cloud נמחק ואז שוחזר, בזמן שעדיין היו קיימות הקצאות של כתובות בלי שרת (serverless).

כדי לפתור את הבעיה, בצע את הצעדים הבאים:

  1. כדי לזהות את הכתובות שדלפו, שולחים שאילתה ליומנים הבאים ב-Logs Explorer:

    protoPayload.authorizationInfo.permission=~"compute.addresses.delete.*"
    protoPayload.authorizationInfo.resourceAttributes.type="compute.addresses"
    protoPayload.resourceName=~"projects/.*/regions/.*/addresses/serverless-.*"
    severity>=WARNING
    

    אם השאילתה הזו לא מחזירה תוצאות, אין דליפות של כתובות IP ולא נדרשת פעולה נוספת.

  2. אם השאילתה מחזירה תוצאות, ודאו שלסוכן השירות של App Engine יש את התפקיד "סוכן שירות של App Engine"‏ (roles/appengine.serviceAgent). אם אתם לא יכולים להשתמש בתפקיד הזה, ודאו שאתם נותנים לסוכן השירות של App Engine את התפקידים וההרשאות הנדרשים האחרים.

  3. מוחקים ידנית את כתובות ה-IP שדלפו באמצעות מסוף Google Cloud או Google Cloud CLI:

    המסוף

    1. נכנסים לדף IP addresses במסוף Google Cloud :

      לדף IP addresses

    2. מריצים את השאילתה ובוחרים את כתובות ה-IP שדלפו שזיהיתם בשלב הקודם.

    3. לוחצים על Release static address כדי להסיר את הכתובות שדלפו.

    gcloud

    מריצים את הפקודה gcloud compute addresses delete:

    gcloud compute addresses delete ADDRESS_NAME --region=REGION

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ADDRESS_NAME: השם של כתובת ה-IP שדלפה.
    • ‫REGION: האזור של כתובת ה-IP שדלפה.