פריסת עומסי עבודה של קונטיינרים של GPU

המק"ט "Google Distributed Cloud (GDC) Sandbox AI Optimized" מאפשר להריץ אפליקציות עם דרישות גבוהות של מחשוב ו-AI מואץ בקונטיינרים עם GPU. במאמר הזה נסביר איך להגדיר בקשות למשאבים של קונטיינרים והגדרות אבטחה כדי לפרוס עומסי עבודה במעבדי GPU ייעודיים מסוג NVIDIA H100.

פריסת עומסי עבודה של קונטיינרים ב-GPU

המק"ט GDC Sandbox AI Optimized כולל ארבעה מעבדי NVIDIA H100 80GB HBM3 GPU באשכול org-infra. אפשר לגשת למעבדים הגרפיים האלה באמצעות שם המשאב nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3. בקטע הזה מוסבר איך לעדכן את הגדרות הקונטיינר כדי להשתמש במעבדי ה-GPU האלה.

מעבדי ה-GPU במק"ט GDC Sandbox AI Optimized משויכים לפרויקט שהוגדר מראש, sandbox-gpu-project (קיים רק במכונות של מק"ט GDC Sandbox AI Optimized). כדי להשתמש ביחידות ה-GPU, צריך לפרוס את מאגר התגים באמצעות הפרויקט הזה בתוך האשכול org-1-infra.

לפני שמתחילים

  • כדי להריץ פקודות באשכול התשתית של הארגון, ודאו שיש לכם את ה-kubeconfig של האשכול org-1-infra, כמו שמתואר במאמר עבודה עם אשכולות:

    • מגדירים ומאמתים באמצעות שורת הפקודה gdcloud, וגם
    • יוצרים את קובץ ה-kubeconfig של אשכול התשתית של הארגון, ומקצים את הנתיב שלו למשתנה הסביבה KUBECONFIG.
  • כדי להריץ את עומסי העבודה, צריך להקצות את התפקיד sandbox-gpu-admin. כברירת מחדל, התפקיד מוקצה למשתמש platform-admin. כדי להקצות את התפקיד למשתמשים אחרים, צריך להיכנס לחשבון בתור platform-admin ולהריץ את הפקודה הבאה:

    kubectl --kubeconfig ${KUBECONFIG} create rolebinding ${NAME} --role=sandbox-gpu-admin \
    --user=${USER} --namespace=sandbox-gpu-project
    
  • כדי לאפשר תנועה ברשת לקונטיינר, צריך להגדיר מדיניות רשת לפרויקט. מידע נוסף זמין במאמר יצירת מדיניות רשת ב-Kubernetes.

הגדרת קונטיינר לשימוש במשאבי GPU

  1. כדי לבקש מעבדי GPU לעומס העבודה, מוסיפים את השדות .containers.resources.requests ו-.containers.resources.limits למפרט של מאגר הנתונים. כל הקונטיינרים ב-sandbox-gpu-project יכולים לבקש עד 4 מעבדי GPU בסך הכול בכל הפרויקט. בדוגמה הבאה, בקשה ל-GPU אחד כחלק ממפרט הקונטיינר.

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment
      namespace: sandbox-gpu-project
      labels:
        app: nginx
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: nginx
      template:
        metadata:
          labels:
            app: nginx
        spec:
          containers:
          - name: nginx
            image: nginx:latest
            resources:
              requests:
                nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1
              limits:
                nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1
    
  1. כדי לגשת למעבדי GPU, קונטיינרים צריכים גם הרשאות נוספות. לכל קונטיינר שמבקש GPUs, מוסיפים לקונטיינר .containers.securityContext שמעניק securityContext.seLinuxOptions מסוג unconfined_t.

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment
      namespace: sandbox-gpu-project
      labels:
        app: nginx
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: nginx
      template:
        metadata:
          labels:
            app: nginx
        spec:
          containers:
          - name: nginx
            image: nginx:latest
            resources:
              requests:
                nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1
              limits:
                nvidia.com/gpu-pod-NVIDIA_H100_80GB_HBM3: 1
            securityContext:
              seLinuxOptions:
                type: unconfined_t
    
  2. מחילים את קובץ המניפסט של הקונטיינר:

    kubectl apply -f ${CONTAINER_MANIFEST_FILE_PATH} \
        -n sandbox-gpu-project \
        --kubeconfig ${KUBECONFIG}