Questo documento spiega come creare policy dei workload per i gruppi di istanze gestite (MIG) con istanze Compute Engine A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D. Per creare una policy del workload per le sezioni TPU multi-host, consulta Crea un MIG con una sezione TPU multi-host.
Una policy del workload consente di specificare il posizionamento o la topologia per le istanze Compute Engine nel MIG. Ad esempio, puoi utilizzare le policy dei workload per posizionare le istanze di computing più vicine tra loro, riducendo al minimo la latenza di rete per i workload di intelligenza artificiale (AI), machine learning (ML) o computing ad alte prestazioni (HPC). Per scoprire di più sui requisiti e sulle limitazioni che applichi quando crei le policy dei workload, consulta Informazioni sulle policy dei workload.
Prima di iniziare
-
Se non l'hai ancora fatto, configura l'autenticazione.
L'autenticazione verifica la tua identità per l'accesso ad API e servizi Google Cloud . Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:
Seleziona la scheda relativa al modo in cui prevedi di utilizzare gli esempi in questa pagina:
gcloud
-
Installa Google Cloud CLI. Dopo l'installazione, inizializza Google Cloud CLI eseguendo il comando seguente:
gcloud initSe utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.
-
- Imposta una regione e una zona predefinite.
REST
Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.
Installa Google Cloud CLI.
Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.
Per saperne di più, consulta Autenticati per usare REST nella documentazione sull'autenticazione di Google Cloud .
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per creare e applicare policy di workload ai MIG, chiedi all'amministratore di concederti il ruolo IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) sul progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per creare e applicare policy dei workload ai MIG. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per creare e applicare policy dei workload ai MIG sono necessarie le seguenti autorizzazioni:
-
Per creare una policy del workload:
compute.resourcePolicies.createsul progetto
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Crea una policy del workload
Per creare una policy di workload, utilizza uno dei seguenti metodi in base alla serie di macchine utilizzata dalle istanze di computing nel MIG:
Crea una policy del workload per le istanze A4X Max o A4X
Se applichi una policy del workload alle istanze A4X Max o A4X in un MIG, devi specificare un valore della topologia dell'acceleratore quando crei la policy. Questa azione aiuta i tuoi workload a ottenere prestazioni di rete su larga scala e senza blocchi.
Per creare una policy del workload per le istanze A4X Max o A4X, seleziona una delle seguenti opzioni:
gcloud
Per creare una policy workload per le istanze A4X Max o A4X, utilizza il comando gcloud compute resource-policies create workload-policy con il flag --accelerator-topology=1x72:
gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
--accelerator-topology=1x72 \
--type=high-throughput \
--region=REGION
Sostituisci quanto segue:
WORKLOAD_POLICY_NAME: il nome della policy del workload.REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchine A4X Max o A4X, consulta Regioni e zone disponibili.
REST
Per creare una policy del workload per le istanze A4X Max o A4X, invia una richiesta POST al metodo resourcePolicies.insert.
Nel corpo della richiesta, includi il campo acceleratorTopology impostato su 1x72:
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
{
"name": "WORKLOAD_POLICY_NAME",
"workloadPolicy": {
"acceleratorTopology": "1x72",
"type": "HIGH_THROUGHPUT"
}
}
Sostituisci quanto segue:
PROJECT_ID: l'ID del progetto in cui creare la policy del workload.REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchine A4X Max o A4X, consulta Regioni e zone disponibili.WORKLOAD_POLICY_NAME: il nome della policy del workload.
Crea una policy del workload per le istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D
Se vuoi applicare una policy del workload alle istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D in un MIG, puoi facoltativamente specificare un valore di distanza massima della topologia quando crei la policy.
Quando decidi se specificare una distanza topologia massima, considera il compromesso tra la collocazione fisica rigorosa e l'ottenibilità e la garanzia di capacità delle istanze di computing:
Distanza non specificata: dai la priorità alla disponibilità delle istanze di computing e alla garanzia della capacità rispetto alla co-localizzazione rigorosa. Tuttavia, se la capacità è limitata, Compute Engine potrebbe posizionare le istanze di computing più distanti di quanto la tua applicazione possa tollerare.
Distanza specificata: hai bisogno di una collocazione fisica più vicina per una latenza di rete inferiore, il che riduce direttamente l'ottenibilità delle istanze di computing e la garanzia di capacità. Se i requisiti di posizionamento sono troppo rigidi per la capacità disponibile in una zona, potresti riscontrare errori di disponibilità delle risorse. Per risolvere questi errori, utilizza una policy del workload con un valore di distanza massima della topologia meno rigido, ad esempio
CLUSTERanzichéSUBBLOCK, oppure lascia il valore non specificato.
Per creare una policy del workload per le istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D, seleziona una delle seguenti opzioni:
gcloud
Per creare una policy del workload, utilizza il
comando gcloud compute resource-policies create workload-policy. In base alla vicinanza con cui vuoi posizionare le istanze di computing in un MIG, includi i seguenti flag nel comando:
Per posizionare le istanze di computing vicine tra loro secondo il principio del "best effort", includi il flag
--type=high-throughput:gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \ --type=high-throughput \ --region=REGIONPer controllare ulteriormente il posizionamento delle istanze di computing, includi i flag
--max-topology-distancee--type=high-throughput:gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \ --max-topology-distance=TOPOLOGY_DISTANCE \ --type=high-throughput \ --region=REGION
Sostituisci quanto segue:
WORKLOAD_POLICY_NAME: il nome della policy del workload.REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchine GPU, consulta Regioni e zone disponibili.TOPOLOGY_DISTANCE: la distanza topologica massima. Specifica uno dei seguenti valori:Per posizionare le istanze A4 o H4D nello stesso cluster:
CLUSTERPer posizionare istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso blocco:
BLOCKPer posizionare le istanze A4, A3 Ultra o H4D nello stesso blocco secondario:
SUBBLOCK
REST
Per creare una policy del workload, effettua una richiesta POST al
metodo resourcePolicies.insert. In base alla vicinanza con cui vuoi posizionare le istanze di computing in un MIG, includi i seguenti campi nel corpo della richiesta:
Per posizionare le istanze di computing vicine tra loro secondo il principio del "best effort", includi il campo
typenel corpo della richiesta:POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies { "name": "WORKLOAD_POLICY_NAME", "workloadPolicy": { "type": "HIGH_THROUGHPUT" } }Per controllare ulteriormente il posizionamento delle istanze di computing, includi i campi
maxTopologyDistanceetypenel corpo della richiesta:POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies { "name": "WORKLOAD_POLICY_NAME", "workloadPolicy": { "maxTopologyDistance": "TOPOLOGY_DISTANCE", "type": "HIGH_THROUGHPUT" } }
Sostituisci quanto segue:
PROJECT_ID: l'ID del progetto in cui creare la policy del workload.REGION: la regione in cui creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per esaminare le regioni in cui sono disponibili i tipi di macchine GPU, consulta Regioni e zone disponibili.WORKLOAD_POLICY_NAME: il nome della policy del workload.TOPOLOGY_DISTANCE: la distanza massima della topologia. Specifica uno dei seguenti valori:Per posizionare le istanze A4 o H4D nello stesso cluster:
CLUSTERPer posizionare istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso blocco:
BLOCKPer posizionare le istanze A4, A3 Ultra o H4D nello stesso blocco secondario:
SUBBLOCK
Passaggi successivi
Dopo aver creato una policy di workload, scopri come applicarla a un MIG:
Scopri come visualizzare la topologia delle istanze di computing.
Scopri come visualizzare le policy dei workload.
Scopri come sostituire, rimuovere o eliminare le policy dei workload.