המק"ט "Google Distributed Cloud (GDC) Sandbox AI Optimized" מאפשר להריץ אפליקציות עם דרישות גבוהות של מחשוב ו-AI מואץ בקונטיינרים עם GPU. במאמר הזה נסביר איך להגדיר בקשות למשאבים של קונטיינרים והגדרות אבטחה כדי לפרוס עומסי עבודה במעבדי GPU ייעודיים מסוג NVIDIA H100.
פריסת עומסי עבודה של קונטיינרים ב-GPU
המק"ט GDC Sandbox AI Optimized כולל ארבעה מעבדי NVIDIA H100 80GB HBM3 GPU באשכול org-infra. אפשר לגשת למעבדים הגרפיים האלה באמצעות שם המשאב nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3. בקטע הזה מוסבר איך לעדכן את הגדרות הקונטיינר כדי להשתמש במעבדי ה-GPU האלה.
מעבדי ה-GPU במק"ט GDC Sandbox AI Optimized משויכים לפרויקט שהוגדר מראש, sandbox-gpu-project (קיים רק במכונות של מק"ט GDC Sandbox AI Optimized). כדי להשתמש ביחידות ה-GPU, צריך לפרוס את מאגר התגים באמצעות הפרויקט הזה בתוך האשכול org-1-infra.
לפני שמתחילים
כדי להריץ פקודות באשכול התשתית של הארגון, ודאו שיש לכם את ה-kubeconfig של האשכול
org-1-infra, כמו שמתואר במאמר עבודה עם אשכולות:- מגדירים ומאמתים באמצעות שורת הפקודה
gdcloud, וגם - יוצרים את קובץ ה-kubeconfig של אשכול התשתית של הארגון, ומקצים את הנתיב שלו למשתנה הסביבה
KUBECONFIG.
- מגדירים ומאמתים באמצעות שורת הפקודה
כדי להריץ את עומסי העבודה, צריך להקצות את התפקיד
sandbox-gpu-admin. כברירת מחדל, התפקיד מוקצה למשתמשplatform-admin. כדי להקצות את התפקיד למשתמשים אחרים, צריך להיכנס לחשבון בתורplatform-adminולהריץ את הפקודה הבאה:kubectl --kubeconfig ${KUBECONFIG} create rolebinding ${NAME} --role=sandbox-gpu-admin \ --user=${USER} --namespace=sandbox-gpu-projectכדי לאפשר תנועה ברשת לקונטיינר, צריך להגדיר מדיניות רשת לפרויקט. מידע נוסף זמין במאמר יצירת מדיניות רשת ב-Kubernetes.
הגדרת קונטיינר לשימוש במשאבי GPU
כדי לבקש מעבדי GPU לעומס העבודה, מוסיפים את השדות
.containers.resources.requestsו-.containers.resources.limitsלמפרט של מאגר הנתונים. כל הקונטיינרים ב-sandbox-gpu-project יכולים לבקש עד 4 מעבדי GPU בסך הכול בכל הפרויקט. בדוגמה הבאה, בקשה ל-GPU אחד כחלק ממפרט הקונטיינר.apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment namespace: sandbox-gpu-project labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:latest resources: requests: nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1 limits: nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1
כדי לגשת למעבדי GPU, קונטיינרים צריכים גם הרשאות נוספות. לכל קונטיינר שמבקש GPUs, מוסיפים לקונטיינר
.containers.securityContextשמעניקsecurityContext.seLinuxOptionsמסוגunconfined_t.apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment namespace: sandbox-gpu-project labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:latest resources: requests: nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1 limits: nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1 securityContext: seLinuxOptions: type: unconfined_tמחילים את קובץ המניפסט של הקונטיינר:
kubectl apply -f ${CONTAINER_MANIFEST_FILE_PATH} \ -n sandbox-gpu-project \ --kubeconfig ${KUBECONFIG}