סוגי מכונות עם GPU

במאמר הזה מפורטים דגמי ה-GPU של NVIDIA שבהם אפשר להשתמש כדי להאיץ עומסי עבודה של למידת מכונה (ML), עיבוד נתונים וגרפיקה אינטנסיבית במכונות של Compute Engine. בנוסף, מסמך זה מפרט אילו מעבדי GPU מחוברים מראש לסדרות מכונות שמותאמות למאיצים, כמו A5X,‏ A4X Max,‏ A4X,‏ A4,‏ A3,‏ A2,‏ G4 ו-G2, ואילו מעבדי GPU אפשר לחבר למכונות N1 לשימוש כללי.

אתם יכולים להשתמש במסמך הזה כדי להשוות בין הביצועים, הזיכרון והתכונות של דגמי GPU שונים. במאמר משפחת מכונות שעברו אופטימיזציה למאיצים תוכלו לקרוא סקירה כללית מפורטת יותר על משפחת המכונות שעברו אופטימיזציה למאיצים, כולל מידע על פלטפורמות של מעבדים, אפשרויות אחסון ויכולות רישות, ולמצוא את סוג המכונה הספציפי שמתאים לעומס העבודה שלכם.

למידע נוסף על GPUs ב-Compute Engine, קראו את המאמר מידע על GPUs.

במאמר הזה מפורטים האזורים והתחומים שבהם אפשר להשתמש ב-GPU ב-Compute Engine.

סקירה כללית

ב-Compute Engine יש סוגים שונים של מכונות שתומכים בעומסי עבודה שונים.

חלק מסוגי המכונות תומכים ב-NVIDIA RTX Virtual Workstations (vWS). כשיוצרים מכונה שמשתמשת ב-NVIDIA RTX Virtual Workstation,‏ Compute Engine מוסיף באופן אוטומטי רישיון vWS. מידע על תמחור של תחנות עבודה וירטואליות מופיע בדף התמחור של GPU.

סוגי מכונות GPU
עומסי עבודה של AI ו-ML גרפיקה והמחשה חזותית עומסי עבודה אחרים של GPU
סוגי מכונות מסדרה A עם אופטימיזציה למאיצים מיועדים לעומסי עבודה של מחשוב עתיר ביצועים (HPC), בינה מלאכותית (AI) ולמידת מכונה (ML).

סדרת A מהדור המאוחר יותר מתאימה לאימון מראש ולכוונון של מודלי בסיס שכוללים אשכולות גדולים של מאיצים, ואילו סדרת A2 מתאימה לאימון של מודלים קטנים יותר ולהסקת מסקנות ממארח יחיד.

בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי.

סוגי מכונות מסדרה G עם אופטימיזציה למאיצים מיועדים לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עם גרפיקה אינטנסיבית, המרת קידוד של וידאו ומחשבים וירטואליים. סוגי המכונות האלה תומכים ב-NVIDIA RTX Virtual Workstations (vWS).

אפשר להשתמש בסדרה G גם לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד.

בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי.

במכונות וירטואליות לשימוש כללי מסוג N1, חוץ ממכונות עם ליבת מעבד משותפת מסוג N1 (f1-micro ו-g1-small), אפשר לצרף קבוצה נבחרת של מודלים של GPU. חלק מהדגמים האלה של GPU תומכים גם ב-NVIDIA RTX Virtual Workstations ‏(vWS).

  • ‫A5X (שבבי-על של NVIDIA Vera Rubin)
    (nvidia-vr200)
  • ‫A4X Max (שבבי-על NVIDIA GB300 Ultra)
    (nvidia-gb300)
  • ‫A4X (שבבי-על NVIDIA GB200)
    (nvidia-gb200)
  • ‫A4 (NVIDIA B200)
    (nvidia-b200)
  • ‫A3 Ultra (NVIDIA H200)
    (nvidia-h200-141gb)
  • ‫A3 Mega (NVIDIA H100)
    (nvidia-h100-mega-80gb)
  • ‫A3 High (NVIDIA H100)
    (nvidia-h100-80gb)
  • ‫A3 Edge (NVIDIA H100)
    (nvidia-h100-80gb)
  • ‫A2 Ultra (NVIDIA A100 80GB)
    (nvidia-a100-80gb)
  • ‫A2 Standard (NVIDIA A100 4OGB)
    (nvidia-tesla-a100)
  • ‫G4 ‏(NVIDIA RTX PRO 6000)
    (nvidia-rtx-pro-6000)
    (nvidia-rtx-pro-6000-vws)
  • G2 (NVIDIA L4)
    (nvidia-l4)
    (nvidia-l4-vws)
אפשר לצרף את המודלים הבאים של GPU למכונות וירטואליות לשימוש כללי מסוג N1:

אפשר גם להשתמש בחלק מסוגי המכונות עם GPU ב-AI Hypercomputer. ‫AI Hypercomputer היא מערכת מחשוב-על שמותאמת לתמיכה בעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). מומלץ להשתמש באפשרות הזו כדי ליצור תשתית עם הקצאה צפופה ואופטימיזציה של הביצועים, שכוללת שילובים של מתזמני Google Kubernetes Engine (GKE) ו-Slurm.

סדרת מכונות A5X‏ (NVIDIA Vera Rubin)

סוגי המכונות A5X accelerator-optimized משתמשים בשבבי-על של NVIDIA Vera Rubin, והם אידיאליים לאימון, להסקת מסקנות ולשירות של מודלים בסיסיים. סוגי המכונות A5X זמינים כמכונות Bare Metal.

‫A5X היא פלטפורמה בקנה מידה של אקסה-בייט שמבוססת על NVIDIA Vera Rubin NVL72. בכל מכונה יש שני שקעים עם מעבדי NVIDIA Vera. המעבדים האלה מתחברים לארבעה מעבדי NVIDIA Rubin GPU עם תקשורת מהירה בין שבבים (NVLink-C2C). למידע על המגבלות של סוגי המכונות, קראו את המאמר מגבלות של A5X.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA Rubin זיכרון GPU‏ (GB HBM4)
a5x-highgpu-4g-metal 176 1,440 48,000 10 7,200 4 1,152

הערות לגבי סוגי המכונות A5X

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • ‫vCPU count: במכונות A5X ללא מערכת הפעלה, המספר 176 מייצג את 176 ליבות המעבד הפיזיות בשני שקעים של 88 ליבות בפלטפורמת המעבד של NVIDIA Vera.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • ‫GPU memory: זיכרון GPU הוא הזיכרון במכשיר GPU שבו מאוחסנים נתונים זמניים. הוא נפרד מהזיכרון של המכונה ומטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים משאבים גרפיים רבים.

סדרות המכונות A4X Max ו-A4X

סדרות המכונות A4X Max ו-A4X פועלות בפלטפורמת exascale שמבוססת על ארכיטקטורת rack-scale של NVIDIA, והן מותאמות לעומסי עבודה של HPC ואימון ML שמוגבלים לרשת ודורשים הרבה משאבי מחשוב וזיכרון. ההבדלים העיקריים בין A4X Max ל-A4X הם ברכיבי ה-GPU והרשת. מכונות A4X Max זמינות רק כמכונות ללא מערכת הפעלה, שמאפשרות גישה ישירה למעבד ולזיכרון של השרת המארח, בלי שכבת ה-hypervisor של Compute Engine.

סוגי מכונות A4X Max‏ (NVIDIA GB300)

סוגי המכונות A4X Max accelerator-optimized משתמשים ב-NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) והם אידיאליים לאימון ולשירות של מודלים בסיסיים. סוגי המכונות A4X Max זמינים כמכונות Bare Metal.

‫A4X Max היא פלטפורמה בקנה מידה של אקסה-פלופ שמבוססת על NVIDIA GB300 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדים גרפיים מסוג NVIDIA B300 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C). למידע על המגבלות של סוגי המכונות, קראו את המאמר המגבלות של A4X Max ו-A4X.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מדגם NVIDIA GB300 זיכרון GPU‏ (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12,000 6 3,600 4 1,116

הערות לגבי סוגי המכונות A4X Max

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוג מכונה A4X‏ (NVIDIA GB200)

בסוגי המכונות A4X accelerator-optimized נעשה שימוש ב-NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200), והם אידיאליים לאימון ולמילוי בקשות של מודלים בסיסיים.

‫A4X היא פלטפורמה בקנה מידה אקסה (exascale) שמבוססת על NVIDIA GB200 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדים גרפיים מסוג NVIDIA B200 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C). למידע על המגבלות של סוגי המכונות, קראו את המאמר המגבלות של A4X Max ו-A4X.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מדגם NVIDIA GB200 זיכרון GPU‏ (GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 744

הערות לגבי סוגי מכונות A4X

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת מכונות A4‏ (NVIDIA B200)

לסוגי המכונות A4 עם אופטימיזציה למאיצים יש מעבדי GPU מסוג NVIDIA B200 Blackwell (nvidia-b200) והם מתאימים במיוחד לאימון ולהצגה של מודלים בסיסיים. למידע על המגבלות של סוגי המכונות, קראו את המאמר מגבלות של מכונות A4.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA B200 Blackwell זיכרון GPU‏ (GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

הערות לגבי סוגי מכונות A4

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת מכונות A3

לסוגי המכונות A3 accelerator-optimized מצורפים מעבדי GPU מסוג NVIDIA H100 SXM או NVIDIA H200 SXM.

סוג המכונה A3 Ultra‏ (NVIDIA H200)

למכונות מסוג A3 Ultra יש מעבדי NVIDIA H200 SXM GPU (nvidia-h200-141gb) מצורפים, והן מספקות את ביצועי הרשת הכי גבוהים בסדרת A3. סוגי המכונות A3 Ultra מתאימים במיוחד לאימון מודלים בסיסיים ולהצגתם. מידע על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A3 Ultra.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA H200 זיכרון GPU‏ (GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

הערות לגבי סוג המכונה A3 Ultra

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי המכונות A3 Mega,‏ High ו-Edge‏ (NVIDIA H100)

כדי להשתמש ב-NVIDIA H100 SXM GPUs, יש לכם את האפשרויות הבאות:

  • ‫A3 Mega: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (nvidia-h100-mega-80gb) והם אידיאליים לאימון בקנה מידה גדול ולעומסי עבודה של הצגת מודעות.
  • ‫A3 High: למכונות מהסוג הזה יש מעבדי GPU מסוג H100 SXM (nvidia-h100-80gb) והן מתאימות גם למשימות אימון וגם למשימות הצגה.
  • ‫A3 Edge: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (nvidia-h100-80gb), מיועדים במיוחד להצגת מודעות וזמינים בקבוצה מוגבלת של אזורים.

A3 Mega

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי ה-GPU מסוג NVIDIA H100 זיכרון GPU (GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 1,800 8 640

A3 High

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי ה-GPU מסוג NVIDIA H100 זיכרון GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

A3 Edge

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי ה-GPU מסוג NVIDIA H100 זיכרון GPU (GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5 ‫600 (asia-south1 ו-northamerica-northeast2) או 400 (כל שאר האזורים של A3 Edge) 8 640

הערות לגבי סוגי המכונות A3 Mega,‏ High ו-Edge

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת מכונות A2‏ (NVIDIA A100)

לסוגי מכונות A2 עם אופטימיזציה למאיצים מצורפים מעבדי GPU מסוג NVIDIA A100, והם אידיאליים לכוונון מודלים, למודלים גדולים ולהסקת מסקנות עם אופטימיזציה לעלויות.

בסדרת המכונות A2 יש שני סוגים:

  • ‫A2 Ultra: לסוגי המכונות האלה יש מעבדי GPU מסוג A100 80GB (nvidia-a100-80gb) ודיסקים מסוג Local SSD.
  • ‫A2 Standard: לסוגי המכונות האלה מצורפים מעבדי GPU מסוג A100 40GB‏ (nvidia-tesla-a100). אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מכונה מסוג A2 Standard. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים.

A2 Ultra

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA A100 80GB זיכרון GPU‏ (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

A2 Standard

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA A100 40GB זיכרון GPU‏ (GB HBM2)
a2-highgpu-1g 12 85 כן 24 1 40
a2-highgpu-2g 24 170 כן 32 2 80
a2-highgpu-4g 48 340 כן 50 4 160
a2-highgpu-8g 96 680 כן 100 8 320
a2-megagpu-16g 96 1,360 כן 100 16 640

הערות לגבי סוגי מכונות A2

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת מכונות G4‏ (NVIDIA RTX PRO 6000)

סוגי המכונות G4 accelerator-optimized משתמשים ב-GPUs מסוג NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) ומתאימים לעומסי עבודה של סימולציה ב-NVIDIA Omniverse, לאפליקציות שדורשות עיבוד גרפי אינטנסיבי, להמרת קידוד של וידאו ולמחשבים וירטואליים. סוגי המכונות G4 גם מספקים פתרון זול להסקת מסקנות במארח יחיד ולכוונון מודלים בהשוואה לסוגי המכונות מסדרה A.

אפשר גם להוסיף דיסקים של Titanium SSD כשיוצרים מכונה מסוג G4. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שבהם צריך לבחור מספר של דיסקי SSD מקומיים. מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של G4.

אחת מהתכונות העיקריות של סדרת G4 היא תמיכה בתקשורת ישירה בין GPU ל-GPU (או P2P) בסוגי מכונות עם כמה יחידות GPU (‏g4-standard-96,‏ g4-standard-192,‏ g4-standard-384). התכונה הזו מאפשרת ליחידות GPU באותו מכונה להחליף נתונים ישירות דרך אפיק ה-PCIe, בלי לערב את המארח של המעבד (CPU). למידע נוסף על תקשורת בין GPU מסוג G4, קראו את המאמר תקשורת בין GPU מסוג G4.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫Titanium SSD מקסימלי נתמך (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA RTX PRO 6000 זיכרון GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

הערות לגבי סוגי מכונות G4

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס של רשת זמין במאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת מכונות G2‏ (NVIDIA L4)

לסוגי המכונות G2 accelerator-optimized מצורפים מעבדי NVIDIA L4 GPU, והם אידיאליים להסקה (inference) עם אופטימיזציה של עלויות, לעומסי עבודה עם גרפיקה אינטנסיבית ולעומסי עבודה של מחשוב עתיר ביצועים (HPC).

לכל סוג מכונה G2 יש גם זיכרון שמוגדר כברירת מחדל וטווח זיכרון בהתאמה אישית. טווח הזיכרון בהתאמה אישית מגדיר את נפח הזיכרון שאפשר להקצות למכונה לכל סוג מכונה. אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מכונה מסוג G2. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים.

למידע על המגבלות של סוגי המכונות, קראו את המאמר מגבלות של G2.

סוג המכונה מספר מעבדי ה-vCPU זיכרון ברירת המחדל של המכונה (GB) טווח זיכרון מותאם אישית של מכונה (GB) נפח מקסימלי נתמך של כונן SSD מקומי (GiB) רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA L4 זיכרון GPU (GB GDDR6)
g2-standard-4 4 16 ‫16 עד 32 375 10 1 24
g2-standard-8 8 32 32 עד 54 375 16 1 24
g2-standard-12 12 48 ‫48 עד 54 375 16 1 24
g2-standard-16 16 64 ‫54 עד 64 375 32 1 24
g2-standard-24 24 96 96 עד 108 750 32 2 48
g2-standard-32 32 128 96 עד 128 375 32 1 24
g2-standard-48 48 192 ‫192 עד 216 1,500 50 4 96
g2-standard-96 96 384 ‫384 עד 432 3,000 100 8 192

הערות לגבי סוג המכונה G2

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • מספר מעבדי vCPU: מעבד vCPU מוטמע כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבדים הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת מכונות N1

אפשר לצרף את המודלים הבאים של GPU למכונה מסוג N1, חוץ ממכונות עם ליבה משותפת (shared-core) מסוג N1.

בניגוד לסוגי המכונות בסדרת המכונות שעברו אופטימיזציה למאיצים, סוגי המכונות N1 לא מגיעים עם מספר מוגדר של מעבדי GPU מצורפים. במקום זאת, מציינים את מספר ה-GPU שרוצים לצרף כשיוצרים את המכונה.

במכונות N1 עם פחות מעבדי GPU, מספר המעבדים הווירטואליים מוגבל. באופן כללי, ככל שיש יותר מעבדי GPU, אפשר ליצור מכונות עם יותר מעבדי vCPU וזיכרון.

‫N1+T4 GPUs

אפשר לחבר מעבדי GPU מסוג NVIDIA T4 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות.

סוג המאיץ מספר יחידות ה-GPU מסוג NVIDIA T4 זיכרון GPU (GB GDDR6) מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי
nvidia-tesla-t4 או nvidia-tesla-t4-vws 1 16 ‫1 עד 48 ‫1 עד 312 כן
nvidia-tesla-t4 או nvidia-tesla-t4-vws 2 32 ‫1 עד 48 ‫1 עד 312 כן
nvidia-tesla-t4 או nvidia-tesla-t4-vws 4 64 1 עד 96 1 עד 624 כן

הערות לגבי סוגי המכונות N1+T4

ההערה הבאה רלוונטית לטבלה שלמעלה:

  • זיכרון GPU: הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

מעבדי GPU מסוג N1+P4

אפשר לצרף מעבדי GPU מסוג NVIDIA P4 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות. במכונות עם מעבדי NVIDIA P4 GPU מחוברים, יש תמיכה בדיסקים מסוג Local SSD רק באזורים us-central1-c ו-northamerica-northeast1-b.

סוג המאיץ מספר יחידות ה-GPU מסוג NVIDIA P4 זיכרון GPU‏ (GB GDDR5) מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי
nvidia-tesla-p4 או nvidia-tesla-p4-vws 1 8 ‫1 עד 24 ‫1 עד 156 כן (רק us-central1-c ו-northamerica-northeast1-b)
nvidia-tesla-p4 או nvidia-tesla-p4-vws 2 16 ‫1 עד 48 ‫1 עד 312 כן (רק us-central1-c ו-northamerica-northeast1-b)
nvidia-tesla-p4 או nvidia-tesla-p4-vws 4 32 1 עד 96 1 עד 624 כן (רק us-central1-c ו-northamerica-northeast1-b)

הערות לגבי סוגי המכונות N1+P4

ההערה הבאה רלוונטית לטבלה שלמעלה:

  • זיכרון GPU: הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

‫N1+V100 GPUs

אתם יכולים לצרף מעבדי GPU מסוג NVIDIA V100 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות. במכונות עם מעבדי GPU מסוג NVIDIA V100, אי אפשר להשתמש בכונני SSD מקומיים באזור us-east1-c.

סוג המאיץ מספר יחידות ה-GPU מסוג NVIDIA V100 זיכרון GPU‏ (GB HBM2) מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי
nvidia-tesla-v100 1 16 1 עד 12 ‫1 עד 78 כן (חוץ מ-us-east1-c)
nvidia-tesla-v100 2 32 ‫1 עד 24 ‫1 עד 156 כן (חוץ מ-us-east1-c)
nvidia-tesla-v100 4 64 ‫1 עד 48 ‫1 עד 312 כן (חוץ מ-us-east1-c)
nvidia-tesla-v100 8 128 1 עד 96 1 עד 624 כן (חוץ מ-us-east1-c)

הערות לגבי סוג המכונה N1+V100

ההערה הבאה רלוונטית לטבלה שלמעלה:

  • זיכרון GPU: הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

חוויית התחזוקה של מכונות N1 עם מעבדי GPU

במהלך מחזור החיים של מכונה ב-Compute Engine, המכונה המארחת שבה פועלת המכונה שלכם עוברת כמה אירועים במארח. אירוע מארח יכול לכלול תחזוקה שוטפת של תשתית Compute Engine, או במקרים נדירים, שגיאת מארח. בנוסף, Compute Engine מבצע ברקע שדרוגים קלים ל-hypervisor ולרשת, שלא משבשים את הפעילות.

בטבלה הבאה מתוארות התכונות של תחזוקת המארח לסוגי המכונות N1 עם GPU מצורף:

סוג המכונה מספר יחידות ה-GPU תדירות אופיינית של אירועי תחזוקה מתוזמנים התנהגות התחזוקה התראה מראש על פעולות תחזוקה מתוזמנות תחזוקה לפי דרישה סימולציה של תחזוקה
N1+T4 ‫1 או 2 לפחות 15 ימים עצירה והפעלה מחדש 7 ימים לא כן
N1+T4 4 30 ימים לפחות עצירה והפעלה מחדש 7 ימים כן כן
N1+P4 ‫1 או 2 לפחות 15 ימים עצירה והפעלה מחדש 7 ימים לא כן
N1+P4 4 30 ימים לפחות עצירה והפעלה מחדש 7 ימים כן כן
N1+V100 ‫1, 2 או 4 לפחות 15 ימים עצירה והפעלה מחדש 7 ימים לא כן
N1+V100 8 30 ימים לפחות עצירה והפעלה מחדש 7 ימים כן כן

תדירויות התחזוקה שמוצגות בטבלה הקודמת הן הערכות, ולא הבטחות. יכול להיות ש-Compute Engine יבצע תחזוקה בתדירות גבוהה יותר מדי פעם.

תרשים השוואה כללי

בטבלה הבאה מתוארים גודל הזיכרון של ה-GPU, זמינות התכונות וסוגי עומסי העבודה האידיאליים של דגמי GPU שונים ב-Compute Engine.

בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.

סוג המכונה (דגם ה-GPU) זיכרון ורוחב פס של GPU Interconnect תמיכה ב-NVIDIA RTX Virtual Workstation (vWS)‎ מתי כדאי להשתמש?
A5X (Vera Rubin) ‫288GB HBM4‏ (22TBps) ‫NVLink Full Mesh ‏(3,600GBps) לא אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM) מסוג MoE, מערכות המלצות, HPC
A4X Max (GB300) ‫279GB HBM3e‏ (8TBps) ‫NVLink Full Mesh ‏(1,800GBps) לא אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM) מסוג MoE, מערכות המלצות, HPC
A4X (GB200) ‫186GB HBM3e‏ (8TBps) ‫NVLink Full Mesh ‏(1,800GBps) לא אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM), מערכות המלצות, HPC
A4 (B200) ‫180GB HBM3e ‏(8TBps) ‫NVLink Full Mesh ‏(1,800GBps) לא אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM), מערכות המלצות, HPC
A3 Ultra (H200) ‫141GB HBM3e‏ (4.8TBps) ‫NVLink Full Mesh (900 GBps) לא מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC,‏ BERT, ‏ DLRM
‫A3 Mega, ‏ A3 High, ‏ A3 Edge (H100) ‫80GB HBM3‏ (3.35TBps) ‫NVLink Full Mesh (900 GBps) לא מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC,‏ BERT, ‏ DLRM
A2 Ultra (A100 80GB) ‫80GB HBM2e‏ (1.9TBps) NVLink Full Mesh (600 GBps) לא מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC,‏ BERT, ‏ DLRM
‫A2 Standard‏ (A100 40GB) ‫40GB HBM2‏ (1.6TBps) NVLink Full Mesh (600 GBps) לא אימון למידת מכונה, הסקת מסקנות, HPC
G4 (RTX PRO 6000) ‫96GB GDDR7‏ (1.597TBps) לא רלוונטי כן הסקת מסקנות ואימון של למידת מכונה, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו, HPC
G2 (L4) ‫24GB GDDR6 ‏(300GBps) לא רלוונטי כן הסקת מסקנות ואימון של למידת מכונה, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו, HPC
N1 (T4) ‫16GB GDDR6‏ (320GBps) לא רלוונטי כן הסקת מסקנות בלמידת מכונה, אימון, תחנות עבודה לתצוגה מרחוק, המרת קידוד של וידאו
N1 (P4) ‫8GB GDDR5‏ (192GBps) לא רלוונטי כן תחנות עבודה להמחשה מרחוק, הסקת מסקנות של למידת מכונה והמרת קידוד של וידאו
N1 (V100) ‫16GB HBM2‏ (900GBps) NVLink Ring (300 GBps) לא אימון למידת מכונה, הסקת מסקנות, HPC

במאמר תמחור של GPU תוכלו להשוות בין המחירים של דגמי ה-GPU השונים והאזורים שזמינים ב-Compute Engine.

ביצועים של ליבת Tensor וליבת CUDA רגילה

בקטעים הבאים מפורטים מדדי הביצועים של כל ארכיטקטורת GPU, בחלוקה לליבות וקטוריות או ליבות CUDA רגילות ולליבות Tensor.

  • ליבות Tensor: הביצועים של Tensor מתייחסים לנפח העיבוד של ליבות Tensor ייעודיות. אלה יחידות חומרה ייעודיות (שלעיתים קרובות נקראות יחידות מטריצה) שנועדו במיוחד להאיץ את פעולות הכפל והצבירה של מטריצות גדולות, שהן הבסיס ללמידה עמוקה, לאימון ולהסקת מסקנות.

    סוג הביצועים הזה מתאים במיוחד ללמידה עמוקה, למודלים גדולים של שפה (LLM) ולכל עומס עבודה שאפשר לבטא כפעולות של מטריצה צפופה. ליבות Tensor מספקות תפוקה גבוהה משמעותית מליבות CUDA לאותו סוג נתונים.

  • ליבות וקטוריות או ליבות CUDA רגילות: ביצועים וקטוריים מתייחסים לנפח העיבוד של ליבות CUDA רגילות. אלה יחידות למטרות כלליות שפועלות באמצעות מודל של הוראה אחת, כמה שרשורים (SIMT), ובדרך כלל מבצעות פעולות על רכיבי נתונים או וקטורים נפרדים.

    סוג הביצועים הזה מתאים במיוחד למחשוב כללי, לעיבוד גרפי ולעומסי עבודה שלא כוללים מתמטיקה של מטריצות צפופות.

ארכיטקטורת Rubin

סוג המכונה A5X פועל בארכיטקטורת Vera Rubin NVL72 של NVIDIA.

Tensor Core

ארכיטקטורת Rubin של NVIDIA, שמשמשת את סוג המכונה A5X, מספקת האצה של Tensor Core בפורמטים של דיוק FP64,‏ FP32,‏ TF32,‏ FP16,‏ INT8,‏ FP8 ו-FP4, כדי לאפשר ביצועים גבוהים באימון, בהסקת מסקנות ובהסקה של מודלים בסיסיים בקנה מידה גדול.

ההערות הבאות רלוונטיות לטבלה שבקטע הזה:

  • ‫TF32,‏ Mixed FP16/32,‏ INT8,‏ FP8 ו-FP4: ארכיטקטורת Rubin תומכת בדלילות מבנית, שיכולה להכפיל את קצב העיבוד החישובי. ערכי הביצועים בטבלה הזו מבוססים על ההנחה שהכפלת המטריצה היא צפופה. אם משתמשים בדלילות מבנית, קצב העיבוד החישובי מוכפל.
  • ‫Mixed FP16/32: לאימון ברמת דיוק משולבת, מעבדי GPU שפועלים בארכיטקטורת Rubin תומכים גם בסוג הנתונים bfloat16.
סוג המכונה (דגם ה-GPU) FP64 (TFLOPS) ‫FP32 ‏(TFLOPS) TF32 (TFLOPS) ‫FP16/32 משולב (TFLOPS) INT8 (TFLOPS) FP8 (TFLOPS) ‫FP4‏ (TFLOPS)
A5X (Vera Rubin) 200 800 2,000 4,000 250 17,000 34,000

ליבות CUDA רגילות

סוג המכונה A5X משתמש בארכיטקטורת Rubin כדי לספק פעולות וקטוריות עם ביצועים גבוהים ל-FP64 ול-FP32 בליבות CUDA סטנדרטיות, לעומסי עבודה תובעניים של HPC ו-AI.

סוג המכונה (דגם ה-GPU) FP64 (TFLOPS) ‫FP32 ‏(TFLOPS)
A5X (Vera Rubin) 32 130

ארכיטקטורת Blackwell

סוגי המכונות A4X Max,‏ A4X,‏ A4 ו-G4 פועלים בארכיטקטורת Blackwell של NVIDIA.

Tensor Core

ארכיטקטורת Blackwell של NVIDIA, שבה משתמשים סוגי המכונות האלה, מציגה תמיכה של Tensor Core ברמת דיוק של FP4 ויכולות INT4 מורחבות לביצועים גבוהים בהסקת מסקנות ממודלים גדולים.

בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. הערות נוספות:

  • ‫TF32,‏ Mixed FP16/32,‏ INT8,‏ FP8 ו-FP4: ארכיטקטורת Blackwell תומכת בדלילות מבנית למדדי הדיוק האלה, שיכולה להכפיל את קצב העיבוד החישובי. ערכי הביצועים בטבלה הזו מבוססים על כפל מטריצות צפופות. אם משתמשים בדלילות מבנית, הביצועים מוכפלים.
  • ‫Mixed FP16/32: לאימון ברמת דיוק משולבת, מעבדי GPU שפועלים בארכיטקטורת Blackwell תומכים גם בסוג הנתונים bfloat16.
סוג המכונה (דגם ה-GPU) FP64 (TFLOPS) TF32 (TFLOPS) ‫FP16/32 משולב (TFLOPS) INT8 (TFLOPS) FP8 (TFLOPS) ‫FP4‏ (TFLOPS)
A4X Max (GB300) ‫1.3 1,250 2,500 5,000 5,000 15,000
A4X (GB200) 45 1,250 2,500 5,000 5,000 10,000
A4 (B200) 40 1,100 2,250 4,500 4,500 9,000
G4 (RTX PRO 6000) לא רלוונטי 233.9 467.8 935.6 935.6 1871.2

ליבות CUDA רגילות

סוגי המכונות שמשתמשים בארכיטקטורת Blackwell מספקים פעולות FP64 ו-FP32 עם ביצועים גבוהים לעומסי עבודה תובעניים של HPC ו-AI.

ב-A4X Max,‏ A4X ו-A4, פעולות FP16 מואצות על ידי ליבות Tensor. ב-G4, הביצועים של FP16 בליבות CUDA רגילות נכללים כי עומסי עבודה של גרפיקה, כמו רינדור והמחשה חזותית, יכולים להפיק תועלת מהדרישות המופחתות של שימוש בזיכרון ורוחב פס של דיוק FP16, גם כשלא משתמשים בליבות Tensor.

בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. ההערה הבאה רלוונטית גם:

  • ‫A4X Max (GB300) FP64: הביצועים של FP64 ב-GB300 מופחתים כדי לתת עדיפות לביצועים של FP4.
סוג המכונה (דגם ה-GPU) FP64 (TFLOPS) ‫FP32 ‏(TFLOPS) FP16 (TFLOPS)
A4X Max (GB300) 1.39 45 לא רלוונטי
A4X (GB200) 45 45 לא רלוונטי
A4 (B200) 40 80 לא רלוונטי
G4 (RTX PRO 6000) 1.8 117 117

ארכיטקטורות Hopper,‏ Ada Lovelace ו-Ampere

בסדרת A3 נעשה שימוש בארכיטקטורת Hopper, שבה הוצגו מנועים ייעודיים למודלים של טרנספורמרים. סדרת A2 משתמשת בארכיטקטורת Ampere, שמספקת בסיס מאוזן לאימון ולהסקת מסקנות בביצועים גבוהים. בסדרת G2 נעשה שימוש בארכיטקטורת Ada Lovelace, שמספקת האצה רב-תכליתית וחסכונית באנרגיה להסקת AI, להמרת קידוד של וידאו ולעומסי עבודה גרפיים.

Tensor Core

הארכיטקטורות Hopper,‏ Ada Lovelace ו-Ampere כוללות ליבות Tensor מתקדמות שמאיצות את סוגי הנתונים TF32,‏ FP16,‏ FP8 ו-INT8, ומספקות תפוקה גבוהה לאימון ולהסקת מסקנות ברמת דיוק משולבת.

בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. הערות נוספות:

  • ‫TF32,‏ Mixed FP16/32,‏ INT8 ו-FP8: הארכיטקטורות Hopper,‏ Ada Lovelace ו-Ampere תומכות בדלילות מבנית למדדי הדיוק האלה (וגם ל-INT4), שיכולה להכפיל את קצב העיבוד החישובי. ערכי הביצועים בטבלה הזו מבוססים על כפל מטריצות צפופות. אם משתמשים בדלילות מבנית, הביצועים מוכפלים.
  • ‫Mixed FP16/32: לאימון עם דיוק משולב, מעבדי GPU מסוג NVIDIA H200,‏ H100,‏ A100 ו-L4 תומכים גם בסוג הנתונים bfloat16.
סוג המכונה (דגם ה-GPU) FP64 (TFLOPS) TF32 (TFLOPS) ‫FP16/32 משולב (TFLOPS) INT8 (TOPS) FP8 (TFLOPS)
A3 Ultra (H200) 67 494.5 989.5 1,979 1,979
‫A3 Mega/High/Edge‏ (H100) 67 494.5 989.5 1,979 1,979
A2 Ultra (A100 80GB) 19.5 156 312 624 לא רלוונטי
‫A2 Standard‏ (A100 40GB) 19.5 156 312 624 לא רלוונטי
G2 (L4) לא רלוונטי 60 121 242.5 121

ליבות CUDA רגילות

סוגי המכונות שמשתמשים בארכיטקטורות Hopper,‏ Ada Lovelace ו-Ampere מספקים פעולות FP64 ו-FP32 עם ביצועים גבוהים לעומסי עבודה תובעניים של HPC ו-AI.

בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.

סוג המכונה (דגם ה-GPU) FP64 (TFLOPS) ‫FP32 ‏(TFLOPS)
A3 Ultra (H200) 34 67
‫A3 Mega, High, Edge (H100) 34 67
A2 Ultra (A100 80GB) 9.7 לא רלוונטי
‫A2 Standard‏ (A100 40GB) 9.7 לא רלוונטי
G2 (L4) לא רלוונטי 30.3

ארכיטקטורות Volta,‏ Pascal ו-Turing

במכונות מסוג N1 נעשה שימוש בארכיטקטורות ה-GPU הבאות:

Tensor Core

הארכיטקטורות Turing ו-Volta של NVIDIA, שזמינות במכונות N1, מספקות תמיכה ב-Tensor Core לפעולות של דיוק מעורב, INT8 ו-INT4, ומציעות האצה בסיסית להסקת מסקנות בלמידה עמוקה.

המעבדים הגרפיים האלה הציגו את הדורות הראשונים של ליבות Tensor, שמשמשות בעיקר לאימון FP16 ולקוונטיזציה של INT8 ו-INT4 בהסקת מסקנות. הטבלה הזו לא כוללת את סוג המכונה N1 (P4) כי אין לה ליבות Tensor.

בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.

סוג המכונה (דגם ה-GPU) ‫FP16/32 משולב (TFLOPS) INT8 (TOPS) ‫INT4‏ (TOPS)
N1 (V100) 125 לא רלוונטי לא רלוונטי
N1 (T4) 65 130 260

ליבות CUDA רגילות

סוגי המכונות שמשתמשים בארכיטקטורות Volta,‏ Pascal ו-Turing מצוידים בליבות FP64 ו-FP32 CUDA כדי להאיץ מגוון עומסי עבודה של HPC ו-AI.

בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.

סוג המכונה (דגם ה-GPU) FP64 (TFLOPS) ‫FP32‏ (TFLOPS)
N1 (V100) 7.8 15.6
N1 (T4) לא רלוונטי ‫8.1
N1 (P4) 0.2 5.5

מה השלב הבא?