In diesem Dokument wird erläutert, wie Sie Arbeitslastrichtlinien für verwaltete Instanzgruppen (Managed Instance Groups, MIGs) erstellen, die Compute Engine-Instanzen vom Typ A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) oder H4D haben. Informationen zum Erstellen einer Arbeitslastrichtlinie für TPU-Slices mit mehreren Hosts finden Sie unter MIG mit TPU-Slice mit mehreren Hosts erstellen.
Mit einer Arbeitslastrichtlinie können Sie die Platzierung oder Topologie für die Compute Engine-Instanzen in Ihrer verwalteten Instanzgruppe angeben. Mit Arbeitslastrichtlinien können Sie beispielsweise Compute-Instanzen näher beieinander platzieren, um die Netzwerklatenz für Arbeitslasten im Bereich künstliche Intelligenz (KI), maschinelles Lernen (ML) oder Hochleistungs-Computing (HPC) zu minimieren. Weitere Informationen zu den Anforderungen und Einschränkungen, die beim Erstellen von Arbeitslastrichtlinien gelten, finden Sie unter Arbeitslastrichtlinien.
Hinweis
-
Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben.
Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud Dienste und APIs überprüft. Zum Ausführen von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich so bei der Compute Engine authentifizieren:
Wählen Sie den Tab für die gewünschte Verwendung der Beispiele auf dieser Seite aus:
gcloud
-
Installieren Sie die Google Cloud CLI und melden Sie sich dann mit Ihrer föderierten Identität in der gcloud CLI an. Nach der Anmeldung initialisieren Sie die Google Cloud CLI mit dem folgenden Befehl:
gcloud init
-
- Legen Sie eine Standardregion und -zone fest.
REST
Wenn Sie die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung verwenden möchten, verwenden Sie die Anmeldedaten, die Sie der gcloud CLI bereitstellen.
Installieren Sie die Google Cloud CLI und melden Sie sich dann mit Ihrer föderierten Identität in der gcloud CLI an.
Weitere Informationen finden Sie in der Dokumentation zur Google Cloud -Authentifizierung unter Für die Verwendung von REST authentifizieren.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Anwenden von Arbeitslastrichtlinien auf MIGs benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen und Anwenden von Arbeitslastrichtlinien auf MIGs erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um Arbeitslastrichtlinien zu erstellen und auf MIGs anzuwenden:
-
Zum Erstellen einer Arbeitslastrichtlinie:
compute.resourcePolicies.createfür das Projekt
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Arbeitslastrichtlinie erstellen
Verwenden Sie eine der folgenden Methoden, um eine Arbeitslastrichtlinie zu erstellen, je nachdem, welche Maschinenserie die Compute-Instanzen in Ihrer MIG verwenden:
Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen erstellen
Arbeitslastrichtlinie für A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen erstellen
Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen erstellen
Wenn Sie eine Arbeitslastrichtlinie auf A4X Max- oder A4X-Instanzen in einer MIG anwenden, müssen Sie beim Erstellen der Richtlinie einen Wert für die Beschleunigertopologie angeben. Dadurch können Ihre Arbeitslasten eine umfangreiche, nicht blockierende Netzwerkleistung erzielen.
Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen zu erstellen:
gcloud
Verwenden Sie zum Erstellen einer Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen den Befehl gcloud compute resource-policies create workload-policy mit dem Flag --accelerator-topology=1x72:
gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
--accelerator-topology=1x72 \
--type=high-throughput \
--region=REGION
Ersetzen Sie Folgendes:
WORKLOAD_POLICY_NAME: der Name Ihrer Arbeitslastrichtlinie.REGION: Die Region, in der die Arbeitslastrichtlinie erstellt werden soll. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu den Regionen, in denen A4X Max- oder A4X-Maschinentypen verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.
REST
Senden Sie zum Erstellen einer Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen eine POST-Anfrage an die Methode resourcePolicies.insert.
Geben Sie im Anfragetext das Feld acceleratorTopology an, das auf 1x72 gesetzt ist.
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
{
"name": "WORKLOAD_POLICY_NAME",
"workloadPolicy": {
"acceleratorTopology": "1x72",
"type": "HIGH_THROUGHPUT"
}
}
Ersetzen Sie Folgendes:
PROJECT_ID: die ID des Projekts, in dem die Arbeitslastrichtlinie erstellt werden soll.REGION: Die Region, in der die Arbeitslastrichtlinie erstellt werden soll. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu den Regionen, in denen A4X Max- oder A4X-Maschinentypen verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.WORKLOAD_POLICY_NAME: der Name Ihrer Arbeitslastrichtlinie.
Arbeitslastrichtlinie für A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen erstellen
Wenn Sie eine Arbeitslastrichtlinie auf A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen in einer MIG anwenden möchten, können Sie beim Erstellen der Richtlinie optional einen maximalen Topologieabstandswert angeben.
Wenn Sie entscheiden, ob Sie einen maximalen Topologieabstand angeben möchten, sollten Sie die Vor- und Nachteile einer strikten physischen Zusammenstellung gegenüber der Verfügbarkeit von Compute-Instanzen und der Kapazitätssicherung abwägen:
Nicht angegebene Entfernung: Sie priorisieren die Verfügbarkeit von Compute-Instanzen und die Kapazitätssicherung gegenüber einer strikten Colocation. Wenn die Kapazität jedoch eingeschränkt ist, platziert Compute Engine die Compute-Instanzen möglicherweise weiter voneinander entfernt, als Ihre Anwendung tolerieren kann.
Angegebene Entfernung: Sie benötigen eine engere physische Zusammenstellung für eine geringere Netzwerklatenz, was die Verfügbarkeit von Compute-Instanzen und die Kapazitätsgarantie direkt reduziert. Wenn Ihre Platzierungsanforderungen zu streng für die verfügbare Kapazität in einer Zone sind, können Ressourcenverfügbarkeitsfehler auftreten. Verwenden Sie zur Behebung dieser Fehler eine Arbeitslastrichtlinie mit einem weniger strengen Wert für den maximalen Topologieabstand, z. B.
CLUSTERstattSUBBLOCK, oder geben Sie den Wert nicht an.
Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie für A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen zu erstellen:
gcloud
Verwenden Sie zum Erstellen einer Arbeitslastrichtlinie den Befehl gcloud compute resource-policies create workload-policy. Je nachdem, wie nah Sie Compute-Instanzen in einer MIG platzieren möchten, fügen Sie dem Befehl die folgenden Flags hinzu:
Wenn Sie Ihre Compute-Instanzen nach Möglichkeit nahe beieinander platzieren möchten, fügen Sie das Flag
--type=high-throughputein:gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \ --type=high-throughput \ --region=REGIONWenn Sie die Platzierung Ihrer Compute-Instanzen weiter steuern möchten, fügen Sie die Flags
--max-topology-distanceund--type=high-throughputein:gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \ --max-topology-distance=TOPOLOGY_DISTANCE \ --type=high-throughput \ --region=REGION
Ersetzen Sie Folgendes:
WORKLOAD_POLICY_NAME: der Name Ihrer Arbeitslastrichtlinie.REGION: Die Region, in der die Arbeitslastrichtlinie erstellt werden soll. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu den Regionen, in denen GPU-Maschinentypen verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.TOPOLOGY_DISTANCE: der maximale Topologieabstand. Geben Sie einen der folgenden Werte an:So platzieren Sie A4- oder H4D-Instanzen im selben Cluster:
CLUSTERSo platzieren Sie A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen im selben Block:
BLOCKSo platzieren Sie A4-, A3 Ultra- oder H4D-Instanzen im selben Unterblock:
SUBBLOCK
REST
Senden Sie zum Erstellen einer Arbeitslastrichtlinie eine POST-Anfrage an die Methode resourcePolicies.insert. Je nachdem, wie nah Sie Compute-Instanzen in einer MIG platzieren möchten, fügen Sie die folgenden Felder in den Anfragetext ein:
Wenn Sie Ihre Compute-Instanzen nach Möglichkeit nah beieinander platzieren möchten, fügen Sie das Feld
typein den Anfragetext ein:POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies { "name": "WORKLOAD_POLICY_NAME", "workloadPolicy": { "type": "HIGH_THROUGHPUT" } }Wenn Sie die Platzierung Ihrer Compute-Instanzen weiter steuern möchten, fügen Sie die Felder
maxTopologyDistanceundtypein den Anfragetext ein:POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies { "name": "WORKLOAD_POLICY_NAME", "workloadPolicy": { "maxTopologyDistance": "TOPOLOGY_DISTANCE", "type": "HIGH_THROUGHPUT" } }
Ersetzen Sie Folgendes:
PROJECT_ID: die ID des Projekts, in dem die Arbeitslastrichtlinie erstellt werden soll.REGION: Die Region, in der die Arbeitslastrichtlinie erstellt werden soll. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu den Regionen, in denen GPU-Maschinentypen verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.WORKLOAD_POLICY_NAME: der Name Ihrer Arbeitslastrichtlinie.TOPOLOGY_DISTANCE: die maximale Topologieentfernung. Geben Sie einen der folgenden Werte an:So platzieren Sie A4- oder H4D-Instanzen im selben Cluster:
CLUSTERSo platzieren Sie A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen im selben Block:
BLOCKSo platzieren Sie A4-, A3 Ultra- oder H4D-Instanzen im selben Unterblock:
SUBBLOCK
Nächste Schritte
Nachdem Sie eine Arbeitslastrichtlinie erstellt haben, können Sie sie auf eine MIG anwenden:
Informationen zum Ersetzen, Entfernen oder Löschen von Arbeitslastrichtlinien