Per personalizzare il modo in cui Agent Platform gestisce le inferenze online dal tuo modello con addestramento personalizzato, puoi specificare un container personalizzato anziché un container predefinito quando crei una risorsa Model. Quando utilizzi un container personalizzato, Agent Platform esegue un container Docker di tua scelta su ogni nodo di inferenza.
Potresti voler utilizzare un container personalizzato per uno dei seguenti motivi:
- Per fornire inferenze da un modello ML addestrato utilizzando un framework non disponibile come container predefinito
- per pre-elaborare le richieste di inferenza o post-elaborare le inferenze generate dal tuo modello
- per eseguire un server di inferenza scritto in un linguaggio di programmazione di tua scelta
- per installare le dipendenze che vuoi utilizzare per personalizzare le inferenze
Questa guida descrive come creare un modello che utilizza un container personalizzato. Non fornisce istruzioni dettagliate sulla progettazione e sulla creazione di un'immagine container Docker.
Prepara un'immagine container
Per creare un Model che utilizza un container personalizzato, devi fornire un'immagine container Docker come base del container. Questa immagine container deve soddisfare i requisiti descritti in Requisiti dei container personalizzati.
Se prevedi di utilizzare un'immagine container esistente creata da una terza parte di tua fiducia, potresti saltare una o entrambe le sezioni seguenti.
Crea un'immagine container
Progetta e crea un'immagine container Docker che soddisfi i requisiti delle immagini container.
Per apprendere le nozioni di base sulla progettazione e sulla creazione di un'immagine container Docker, leggi la guida rapida della documentazione di Docker.
Esegui il push dell'immagine container ad Artifact Registry
Esegui il push dell'immagine container in un repository Artifact Registry.
Scopri come eseguire il push di un'immagine container in Artifact Registry.
Crea un Model
Per creare un Model che utilizzi un container personalizzato, esegui una delle seguenti operazioni:
Le sezioni seguenti mostrano come configurare i campi dell'API relativi ai container personalizzati quando crei un Model in uno di questi modi.
Campi API relativi ai container
Quando crei Model, assicurati di configurare il campo containerSpec con i dettagli del container personalizzato, anziché con un container predefinito.
Devi specificare un messaggio ModelContainerSpec nel campo Model.containerSpec. All'interno di questo messaggio, puoi specificare i seguenti sottocampi:
imageUri(obbligatorio)L'URI Artifact Registry dell'immagine container. Specifica un digest (
IMAGE@sha256:DIGEST), un tag (IMAGE:TAG) o nessuno dei due (il valore predefinito è:latest); non specificare sia un tag sia un digest nello stesso URI. Per i dettagli, consulta Formato URI immagine.Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-image-uriper specificare questo campo.command(facoltativo)Un array di un eseguibile e di argomenti per eseguire l'override dell'istruzione
ENTRYPOINTdel container. Per scoprire di più su come formattare questo campo e su come interagisce con il campoargs, consulta il Riferimento API perModelContainerSpec.Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-commandper specificare questo campo.args(facoltativo)Un array di un eseguibile e di argomenti per eseguire l'override di
CMDdel container. Per scoprire di più su come formattare questo campo e su come interagisce con il campocommand, consulta il Riferimento API perModelContainerSpec.Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-argsper specificare questo campo.ports(facoltativo)Un array di porte; Agent Platform invia controlli di attività, controlli di integrità e richieste di inferenza al tuo container sulla prima porta elencata o su
8080per impostazione predefinita. La specifica di porte aggiuntive non ha alcun effetto.Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-portsper specificare questo campo.env(facoltativo)Un array di variabili di ambiente a cui possono fare riferimento l'istruzione
ENTRYPOINTdel container, nonché i campicommandeargs. Per scoprire di più su come altri campi possono fare riferimento a queste variabili di ambiente, consulta il Riferimento API perModelContainerSpec.Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-env-varsper specificare questo campo.healthRoute(facoltativo)Il percorso sul server HTTP del container in cui vuoi che Agent Platform invii i controlli di integrità.
Se non specifichi questo campo, quando esegui il deployment di
ModelcomeDeployedModelin una risorsaEndpoint, il valore predefinito è/v1/endpoints/ENDPOINT/deployedModels/DEPLOYED_MODEL, dove ENDPOINT viene sostituito dall'ultimo segmento del camponamediEndpoint(seguito daendpoints/) e DEPLOYED_MODEL viene sostituito dal campoiddiDeployedModel.Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-health-routeper specificare questo campo.predictRoute(facoltativo)Il percorso sul server HTTP del container in cui vuoi che Agent Platform inoltri le richieste di inferenza.
Se non specifichi questo campo, quando esegui il deployment di
ModelcomeDeployedModelin una risorsaEndpoint, il valore predefinito è/v1/endpoints/ENDPOINT/deployedModels/DEPLOYED_MODEL:predict, dove ENDPOINT viene sostituito dall'ultimo segmento del camponamediEndpoint(seguito daendpoints/) e DEPLOYED_MODEL viene sostituito dal campoiddiDeployedModel.Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-predict-routeper specificare questo campo.invokeRoutePrefix(facoltativo)Prefisso del percorso di chiamata per il container personalizzato. Se imposti questo campo su "/*", viene attivato il routing arbitrario per il modello. Una volta eseguito il deployment, qualsiasi route non root sul server di modelli sarà accessibile con la chiamata HTTP invoke. Ad esempio, "/invoke/foo/bar" verrà inoltrato come "/foo/bar" al server di modelli. Questa funzionalità è in fase di anteprima pubblica. Per creare un modello abilitato per la chiamata, segui le istruzioni per utilizzare route personalizzate arbitrarie.
sharedMemorySizeMb(facoltativo)La quantità di memoria della VM da prenotare in un volume di memoria condivisa per il modello in megabyte.
La memoria condivisa è un meccanismo di comunicazione tra processi (IPC) che consente a più processi di accedere e manipolare un blocco di memoria comune. La quantità di memoria condivisa necessaria, se presente, è un dettaglio di implementazione del container e del modello. Consulta la documentazione del server di modelli per le linee guida.
Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-shared-memory-size-mbper specificare questo campo.startupProbe(facoltativo)Specifica per il probe che controlla se l'applicazione container è stata avviata.
Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-startup-probe-exec, --container-startup-probe-period-seconds, --container-startup-probe-timeout-secondsper specificare questo campo.healthProbe(facoltativo)Specifica per il probe che controlla se un container è pronto ad accettare il traffico.
Se utilizzi il comando
gcloud ai models upload, puoi utilizzare il flag--container-health-probe-exec, --container-health-probe-period-seconds, --container-health-probe-timeout-secondsper specificare questo campo.
Oltre alle variabili impostate nel campo Model.containerSpec.env, Agent Platform imposta diverse altre variabili in base alla tua configurazione. Scopri di più sull'utilizzo di queste variabili di ambiente in questi campi e nell'istruzione ENTRYPOINT del container.
Esempi di importazione di modelli
I seguenti esempi mostrano come specificare i campi dell'API relativi ai container quando importi un modello.
gcloud
L'esempio seguente utilizza il comando gcloud ai models upload:
gcloud ai models upload \
--region=LOCATION \
--display-name=MODEL_NAME \
--container-image-uri=IMAGE_URI \
--container-command=COMMAND \
--container-args=ARGS \
--container-ports=PORTS \
--container-env-vars=ENV \
--container-health-route=HEALTH_ROUTE \
--container-predict-route=PREDICT_ROUTE \
--container-shared-memory-size-mb=SHARED_MEMORY_SIZE \
--container-startup-probe-exec=STARTUP_PROBE_EXEC \
--container-startup-probe-period-seconds=STARTUP_PROBE_PERIOD \
--container-startup-probe-timeout-seconds=STARTUP_PROBE_TIMEOUT \
--container-health-probe-exec=HEALTH_PROBE_EXEC \
--container-health-probe-period-seconds=HEALTH_PROBE_PERIOD \
--container-health-probe-timeout-seconds=HEALTH_PROBE_TIMEOUT \
--artifact-uri=PATH_TO_MODEL_ARTIFACT_DIRECTORY
Il flag --container-image-uri è obbligatorio; tutti gli altri flag che iniziano con --container- sono facoltativi. Per scoprire di più sui valori di questi campi, consulta la sezione precedente di questa guida.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di Agent Platform per l'utilizzo delle librerie client.
Per eseguire l'autenticazione in Agent Platform, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js nella guida rapida di Agent Platform per l'utilizzo delle librerie client.
Per eseguire l'autenticazione in Agent Platform, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI Python, consulta Installa l'SDK Vertex AI Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Per saperne di più, consulta la guida all'importazione dei modelli.
Invia richieste di inferenza
Per inviare una richiesta di inferenza online al tuo Model, segui le istruzioni riportate in Ottieni inferenze da un modello con addestramento personalizzato: questo processo funziona allo stesso modo indipendentemente dall'utilizzo di un container personalizzato.
Scopri di più sui requisiti delle richieste e delle risposte di previsione per i container personalizzati.
Passaggi successivi
- Per scoprire tutto ciò che devi considerare quando progetti un container personalizzato da utilizzare con Agent Platform, leggi i requisiti dei container personalizzati.