Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esegui l'ottimizzazione per un privato HealthOmics flusso di lavoro
È possibile ottimizzare le esecuzioni per il costo totale, il tempo di esecuzione totale o una combinazione di entrambi. HealthOmics fornisce dati e strumenti per aiutarvi a prendere decisioni di ottimizzazione delle esecuzioni. L'ottimizzazione delle esecuzioni non si applica ai flussi di lavoro Ready2Run, perché non hai alcun controllo sul modo in cui il servizio gestisce il provisioning delle risorse per questi flussi di lavoro.
Il primo passaggio consiste nel comprendere l'attuale utilizzo delle risorse e il costo delle attività in esecuzione, quindi applicare i metodi per ottimizzare i costi e le prestazioni di esecuzione.
Per raccogliere i dati di utilizzo e confrontarli tra le varie esecuzioni, vedi Debug di un HealthOmics esecuzione del flusso di lavoro.
Argomenti
Esegui Analyzer
HealthOmics fornisce uno strumento open source denominato Esegui Analyzer
Run Analyzer stima i costi delle attività e i potenziali risparmi in base a AWS elenca i prezzi al momento dell'esecuzione dello strumento. Valuta i consigli di ottimizzazione e implementa quelli che hanno senso per i tuoi casi d'uso. Testa le ottimizzazioni che adotti per assicurarti che funzionino per la tua corsa.
Run Analyzer esegue le seguenti attività:
-
Valuta i colli di bottiglia della memoria e del calcolo.
-
Identifica le attività che richiedono un eccessivo provisioning di memoria o CPU e consiglia nuove dimensioni delle istanze in grado di ridurre i costi.
-
Calcola le stime dei costi per le singole attività e calcola i potenziali risparmi sui costi se si applicano i consigli.
-
Fornisce una visualizzazione cronologica delle attività in modo da poterne verificare le dipendenze e la sequenza di elaborazione. La cronologia consente inoltre di identificare le attività di lunga durata.
-
Fornisce consigli sulle dimensioni del file system per l'archiviazione in esecuzione.
-
Mostra i tempi di provisioning delle attività in modo da poter identificare le aree in cui grandi carichi di container potrebbero rallentare i tempi di provisioning.
-
Lo strumento include un parametro di input (headroom) che puoi utilizzare per controllare l'aggressività dei consigli di ottimizzazione.
Le sezioni seguenti includono suggerimenti specifici per l'utilizzo di Run Analyzer per ottimizzare le esecuzioni.
Determina i costi di esecuzione
È possibile utilizzare i seguenti metodi e linee guida per determinare i costi di gestione:
-
Per visualizzare i costi di gestione totali per un periodo di fatturazione, procedi nel seguente modo:
-
Apri il Fatturazione e gestione dei costi
console e scegli Fatture. Nel Addebiti per servizio, espandere Omics.
Espandi il regione, quindi visualizza il costo di tutte le esecuzioni suddiviso in base al tipo di istanza omics, al tipo di archiviazione delle esecuzioni e al flusso di lavoro Ready2Run.
-
-
Per generare un rapporto sui costi che includa informazioni per ogni esecuzione, segui questi passaggi:
-
Apri il Fatturazione e gestione dei costi
console e scegli Esportazioni di dati. -
Scegli Crea per creare una nuova esportazione di dati.
-
Inserisci un Nome di esportazione per l'esportazione dei dati. Mantieni gli altri campi sui valori predefiniti per creare un rapporto CUR (costi e utilizzo).
-
Per Granularità temporale, seleziona ogni ora o ogni giorno.
-
Sotto Impostazioni di archiviazione per l'esportazione dei dati, esegui questi passaggi di configurazione:
-
Configura un bucket Amazon S3 per l'esportazione dei dati.
-
Per Controllo delle versioni dei file, seleziona se sovrascrivere il file di esportazione esistente o creare ogni volta un nuovo file.
Il sistema genera il primo report entro le 24 ore successive e genera i report successivi una volta al giorno.
-
Per ulteriori informazioni su come creare l'esportazione dei dati, vedere Creazione di esportazioni di dati nel AWS Guida per l'utente di Data Exports.
-
-
Puoi etichettare le tue corse per monitorare e ottimizzare i costi per categoria, ad esempio per team o per progetto. Se utilizzi i tag, segui questi passaggi per visualizzare i costi di esecuzione per categoria di tag:
-
Apri il Fatturazione e gestione dei costi
console e scegli Cost Explorer. Nel Parametri del rapporto > Raggruppa per, scegli Etichetta come dimensione. e seleziona il desiderato Etichetta nome.
-
-
Per vedere l'utilizzo delle risorse per le attività, visualizza i log in run manifest CloudWatch. Per ulteriori informazioni, consulta Monitoraggio HealthOmics con CloudWatch Registri.
-
Usa il Esegui Analyzer strumento per estrarre informazioni sull'utilizzo delle risorse dell'attività per un'esecuzione.
Determina l'utilizzo in fase di esecuzione
È possibile utilizzare i seguenti metodi per analizzare l'utilizzo in fase di esecuzione:
-
Dal Corre pagina della console, è possibile visualizzare il tempo di esecuzione totale di una corsa.
-
Dal Dettagli della corsa pagina, è possibile visualizzare i seguenti elementi:
-
Visualizza il tempo di esecuzione totale di una corsa.
-
Visualizza il tempo di esecuzione di ogni attività in esecuzione.
-
Scegli uno dei link per visualizzare i log in Amazon S3 o per visualizzare i log di esecuzione o i log di run manifest CloudWatch.
-
-
Dal Esegui attività elenco, scegli Visualizza i log collegamento a un'attività per visualizzare i log in CloudWatch.
-
La risposta al
listRunsIl funzionamento dell'API include l'ora di inizio e l'ora di fine dell'esecuzione, quindi puoi calcolare il tempo di esecuzione totale. -
Il Esegui Analyzer lo strumento mostra la durata delle attività in una visualizzazione temporale. Questo strumento fornisce una rappresentazione visiva della sequenza di elaborazione delle attività, che è possibile abbinare all'ordine previsto.
-
Per ricavare autonomamente la durata delle attività, i tempi di provisioning e il parallelismo, consulta Creazione di una cronologia delle attività dal manifesto di esecuzione.
Creazione di una cronologia delle attività dal manifesto di esecuzione
Il registro del manifesto di esecuzione registra gli orari di creazione, inizio e fine di ogni attività del flusso di lavoro in un'esecuzione. Usali per ricostruire una sequenza temporale dell'esecuzione. Le Esegui Analyzer lo strumento riporta già la maggior parte di questi numeri. Crea tu stesso la timeline quando desideri inserirla nel tuo script o dashboard, o hai bisogno di una misurazione che lo strumento non riporta, ad esempio quante attività sono state eseguite contemporaneamente.
HealthOmics scrive il manifesto in un singolo CloudWatch log stream dopo che l'esecuzione raggiunge lo stato di terminale e un'esecuzione avviata con la registrazione disattivata non ne ottiene mai uno. Per i formati del gruppo di log e dello stream e per sapere come disattivare la disconnessione, vedi Monitoraggio HealthOmics con CloudWatch Registri. Per il contenuto del manifesto e un esempio, vedere Esegui i metadati in CloudWatch.
Ogni oggetto JSON nel manifest è un evento di registro separato. Gli oggetti Task trasportano creationTime, startTime, e stopTime. HealthOmics sets startTime quando termina il provisioning del task e imposta stopTime se l'attività ha esito positivo, negativo o viene annullata. Gli oggetti dell'attività contengono anche campi descrittivi in base ai quali è possibile raggruppare la sequenza temporale, oltre alle statistiche sull'utilizzo delle risorse descritte in Tipi di log per HealthOmics flussi di lavoro.
HealthOmics riporta tutti e tre i timestamp in UTC, quindi considera UTC un timestamp senza un designatore UTC.
Per calcolare i tempi di provisioning, la durata delle attività e il parallelismo, segui questi passaggi:
-
Recupera il flusso di log del manifesto. L'UUID di esecuzione è
uuidcampo del GetRun risposta (vedi Campi chiave nella risposta).aws logs get-log-events \ --log-group-name /aws/omics/WorkflowLog \ --log-stream-name manifest/run/run-id/run-uuid\ --start-from-headLa lettura dell'intero stream richiede diverse richieste. Passa il
nextForwardTokenda ogni risposta come quella della chiamata successiva--next-token, mantenendo--start-from-head, finché una risposta non restituisce il token che hai passato. Il token può continuare ad avanzare tra alcune risposte vuote prima di ripetersi, quindi non fermarti alla prima risposta vuota. Per ulteriori informazioni, consulta get-log-eventsnel AWS CLI Riferimento al comando. -
Analizza ogni evento
messagecampo come JSON. Un oggetto task ha unarnche contiene:task/. Conserva l'unico oggetto di cuiarnil campo contiene:run/: è l'oggetto di esecuzione e il passaggio 4 utilizza il suostopTime. -
Per ogni attività, calcola i due intervalli che compongono il tempo trascorso:
-
Il tempo di approvvigionamento è
startTimemenocreationTime. -
La durata della corsa è
stopTimemenostartTime.
Un'operazione eseguita dalla cache di esecuzione non ha timestamp e non ha alcun posto nella timeline. Altrimenti, un'attività senza
startTimemai eseguito e un compito senzastopTimeera ancora in esecuzione quando l'esecuzione si è interrotta, quindi ha un tempo di provisioning ma nessuna durata di esecuzione. Ordina le attività che hanno una durata di esecuzione per trovare quelle più lunghe. -
-
Misura il parallelismo tra le attività che hanno un
startTime. Costruisci un+1transizione in ciascunostartTimee a-1in ciascunostopTime, utilizzando l'oggetto runstopTimeper un'attività che non hastopTimedi per sé. Ordina le transizioni per timestamp ed eseguile tenendo un totale progressivo, applicando tutte le transizioni che condividono un timestamp prima di leggere il totale, in modo che un'attività che termina quando ne inizia un'altra non venga contata due volte. Il totale per ogni timestamp è il numero di attività eseguite contemporaneamente e il più alto è il parallelismo massimo dell'esecuzione. Un'esecuzione in cui non è stata avviata alcuna attività non ne ha nessuna.
Lunghi periodi con bassa concorrenza indicano una catena di dipendenze nella definizione del flusso di lavoro che potresti essere in grado di ristrutturare. I tempi di provisioning costantemente elevati dipendono dalle dimensioni dell'immagine del contenitore o da un'attesa per la capacità di elaborazione. Per i metodi che riducono entrambi, vedi Metodi per ottimizzare le corse.
Metodi per ottimizzare le corse
HealthOmics fornisce, gestisce e ottimizza automaticamente le risorse che eseguono la gestione temporanea dei dati (come l'importazione e l'esportazione dei dati). HealthOmics inoltre avvia ed esegue il motore del flusso di lavoro per il flusso di lavoro. Tuttavia, è possibile influenzare gli orari di inizio dell'esecuzione, gli orari di inizio delle attività e il tempo di esecuzione complessivo dell'attività impostando varie configurazioni di esecuzione. L'approccio generale alla definizione e alla progettazione del flusso di lavoro influisce anche sul tempo di esecuzione delle attività. L'elenco seguente descrive i fattori che possono influire sull'esecuzione e sulle prestazioni delle attività:
- Tipo di archiviazione in esecuzione
-
Il tipo di storage in esecuzione ha un impatto sulle prestazioni di esecuzione e sui tempi di provisioning dell'esecuzione. Lo storage Dynamic Run esegue il provisioning più velocemente e non esaurisce mai la memoria, perché si adatta dinamicamente alle esigenze di storage in esecuzione. Lo storage a esecuzione dinamica è adatto anche per i flussi di lavoro in fase di sviluppo, in cui spesso è possibile avviare e interrompere un flusso di lavoro per risolvere i problemi.
Lo storage a esecuzione statica richiede tempi di provisioning del file system più lunghi, ma può completare alcune esecuzioni più velocemente, in genere se le esecuzioni hanno un'elevata concorrenza di attività o richiedono più di 9,6 TiB di capacità del file system. Lo storage a esecuzione statica è adatto per flussi di lavoro a lunga durata con elevati livelli I/O requisiti.
Per aiutarti a valutare il rapporto costo/prestazioni di ogni tipo di storage di esecuzione per una determinata esecuzione, puoi provare A/B test per vedere quale tipo di storage in esecuzione offre prestazioni migliori. Inoltre, prendi in considerazione l'utilizzo dello storage a esecuzione dinamica per i tuoi cicli di sviluppo, quindi utilizza lo storage statico per le esecuzioni di produzione su larga scala.
Per ulteriori informazioni sui tipi di storage in esecuzione Esegui tipi di storage nei flussi HealthOmics di lavoro
- Over-provision eseguire l'archiviazione statica
-
Se il calcolo delle attività del flusso di lavoro è limitato da I/O, valuta la possibilità di effettuare un provisioning eccessivo dello storage a esecuzione statica. Il costo dello storage aumenta con le sue dimensioni, ma aumenta anche la velocità massima del file system. Se si verifica un'attività di elaborazione costosa I/O rallentamenti, aumentare le dimensioni del file system per ridurre il tempo di esecuzione dell'attività può ridurre il costo complessivo.
- Riduci le dimensioni delle immagini dei contenitori
-
All'inizio di ogni attività, HealthOmics carica il contenitore specificato per l'operazione. I contenitori più grandi richiedono più tempo per essere caricati. Ottimizza i contenitori in modo che siano il più piccoli possibile per migliorare l'efficienza dell'avvio di nuove attività. Se aggiungi set di dati di grandi dimensioni ai tuoi contenitori, valuta la possibilità di archiviarli in S3 e di far sì che il tuo flusso di lavoro importi i dati da S3. Per le dimensioni massime dei contenitori, HealthOmics supporti, vedi HealthOmics quote a dimensione fissa del flusso di lavoro.
- Dimensioni processo
-
È possibile combinare piccole attività sequenziali in un'unica attività per risparmiare tempo nell'assegnazione delle attività. Inoltre, HealthOmics ha una durata minima dell'attività di un minuto, quindi la combinazione delle attività può ridurre i costi. Nell'ambito dell'attività combinata, potresti essere in grado di utilizzare le pipe Unix per evitare I/O costo della serializzazione e deserializzazione dei file.
- Compressione dei file
-
Evita di comprimere eccessivamente i file intermedi del flusso di lavoro. La maggior parte dei formati di genomica utilizza la compressione «gzip» o «block gzip». La decompressione del file di input dell'operazione e la ricompressione del file di output dell'attività possono consumare una grande percentuale dell'utilizzo complessivo della CPU dell'attività. Alcune applicazioni di genomica consentono di impostare il livello di compressione durante la serializzazione degli output. Riducendo il livello di compressione, è possibile ridurre il tempo impiegato dalla CPU, sebbene file di dimensioni maggiori aumentino il tempo impiegato per scrivere su disco. A seconda dell'attività e dell'applicazione, è possibile trovare il livello di compressione ottimale per i file intermedi che comportano il tempo di esecuzione più breve. Ti consigliamo di iniziare scegliendo come target le attività con i file di output più grandi. Un livello di compressione pari a 2 funziona bene per diversi scenari. Puoi iniziare con questo livello in base al tuo caso d'uso e confrontare i risultati provando altri livelli di compressione.
- Numero di thread
-
Se specifichi i thread nella definizione dell'attività, imposta il numero di thread sullo stesso valore del numero di vCPU richieste.
- Specificate calcolo e memoria
-
Se non specifichi memoria o risorse di calcolo nell'attività, HealthOmics assegna il tipo di istanza più piccolo (
omics.c.large) come impostazione predefinita. Se lo desideri, dichiara esplicitamente i tuoi requisiti di memoria ed elaborazione HealthOmics per assegnare un tipo di istanza più grande.HealthOmics alloca il numero di vCPU, memoria e risorse GPU richieste. Ad esempio, se richiedi 15 vCPU e 33 GiB, HealthOmics alloca un'istanza omics.m.4xl (16 vCPU, 64 GB) per l'attività, ma l'attività può utilizzare solo 15 vCPU e 33 GiB. Pertanto, si consiglia di richiedere vCPU e risorse di memoria che corrispondano a un'istanza omics.
- Migliora la disponibilità delle istanze GPU
-
Se il flusso di lavoro della GPU non funziona con
INSTANCE_RESERVATION_FAILEDoALL_PROFILES_INSTANCE_RESERVATION_FAILED, puoi applicare diverse best practice per migliorare il successo dell'acquisizione della GPU. Per ulteriori informazioni sui pacchetti di acceleratori, sulla flessibilità regionale e sull'ordine di riserva delle risorse, consulta Riduzione degli errori INSTANCE_RESERVATION_FAILED. - Raggruppa più campioni in un'unica corsa
-
Poiché il provisioning del file system richiede tempo all'inizio dell'esecuzione, puoi risparmiare sui tempi di provisioning raggruppando più campioni nella stessa esecuzione. Considerate i seguenti fattori prima di decidere questo approccio:
-
Un singolo campione errato può causare il fallimento di un flusso di lavoro, pertanto la raggruppamento in batch dei campioni potrebbe aumentare il numero di flussi di lavoro non riusciti. Se non sei sicuro che il flusso di lavoro avrà successo per la maggior parte del tempo, un'esecuzione per campione potrebbe essere un approccio migliore.
-
HealthOmics alloca un file system di storage in esecuzione per l'intero flusso di lavoro. Per un batch di campioni, assicuratevi di specificare una quantità di memoria di esecuzione sufficiente per elaborare tutti i campioni.
-
Esiste una quantità massima di storage di esecuzione per flusso di lavoro, pertanto ciò potrebbe limitare il numero di campioni che è possibile aggiungere al batch.
-
La dimensione minima dello storage di esecuzione è 1,2 TiB, pertanto il batch può ridurre i costi se il flusso di lavoro utilizza molto meno spazio di archiviazione rispetto al minimo per ogni campione.
-
Lo storage in esecuzione è in grado di gestire più connessioni simultanee, pertanto avere più attività che utilizzano lo stesso storage in esecuzione non dovrebbe causare I/O colli di bottiglia.
-
Ogni corsa ha il proprio set di tag. Se contrassegni i flussi di lavoro con informazioni per la definizione del budget o il monitoraggio, potrebbe essere preferibile utilizzare esecuzioni separate.
-
I ruoli IAM si applicano all'intera corsa. Ogni utente ha accesso a tutti i dati per un batch di campioni. La separazione dei flussi di lavoro ti dà la possibilità di utilizzare autorizzazioni più dettagliate.
-
HealthOmics imposta le quote a livello di account per il numero massimo di flussi di lavoro simultanei e il numero massimo di attività simultanee in un flusso di lavoro. Per informazioni su come richiedere un aumento di queste quote, vedi HealthOmics quote di servizio.
-
- Usa i parametri per le immagini dei contenitori
-
Parametrizza le immagini dei contenitori anziché incorporarne gli URI nel flusso di lavoro. Quando si tratta di parametri di esecuzione, HealthOmics convalida che l'esecuzione abbia accesso ai contenitori prima dell'inizio dell'esecuzione. In caso contrario, l'operazione ha esito negativo durante l'esecuzione, quando sono stati addebitati costi per le attività completate. Inoltre, poiché si tratta di ingressi parametrizzati, HealthOmics genera un checksum nel manifesto di esecuzione, che migliora la provenienza dell'esecuzione.
- Usa un linter
-
Usa un linter per trovare gli errori più comuni del flusso di lavoro prima di eseguire un nuovo flusso di lavoro. Per ulteriori informazioni, consulta Il flusso di lavoro si interrompe HealthOmics.
- Usa EventBridge per segnalare problemi
-
Usare EventBridge avvisi personalizzati per rilevare anomalie specifiche della tua logica aziendale.
- Usa gli archivi di sequenze
-
Prendi in considerazione l'utilizzo di un archivio di sequenze per i dati di origine per risparmiare sui costi di archiviazione. Per ulteriori informazioni, consulta Archivia i dati omici in modo conveniente su qualsiasi scala con HealthOmics
post sul blog.
Impatto della varianza delle dimensioni dei file tra le esecuzioni
Gli utenti spesso progettano e testano le esecuzioni utilizzando un piccolo set di dati di test, per poi riscontrare un'ampia varietà di dati con variazioni significative delle dimensioni dei file nelle serie di produzione. Assicuratevi di tenere conto di questa varianza quando ottimizzate l'esecuzione.
L'elenco seguente descrive i consigli per l'ottimizzazione in caso di variazioni significative nelle dimensioni dei file:
- Variate le dimensioni dei file nei dati di test
-
Prova a utilizzare i dati di test durante lo sviluppo che presentano una varianza rappresentativa.
- Usa Run Analyzer
-
Usa lo strumento Run Analyzer su una varietà di campioni per tenere conto della varianza nelle dimensioni dei dati.
È possibile utilizzare l'analizzatore di esecuzione per comprendere la varianza tra le esecuzioni nei campioni di dati di produzione. Usa
--batchla modalità Run Analyzer per generare statistiche per un batch di esecuzioni e analizzare le risorse di calcolo massime necessarie per gestire i valori anomali nei set di dati.Ad esempio, è possibile assegnare a run analyzer una cella di dati a flusso completo in modalità batch per comprendere i picchi di utilizzo della vCPU e della memoria per la cella a flusso completo.
- Riduci la varianza delle dimensioni dei set di dati di input
-
Se si nota una varianza elevata nelle dimensioni dei campioni, è possibile biforcare i campioni a monte di HealthOmics e seleziona diverse dimensioni di file system per ogni batch per risparmiare sui costi di archiviazione in esecuzione.
In WDL, usa
sizefunzione per suddividere l'allocazione delle risorse per le singole attività per campioni grandi e piccoli. Applica questa strategia alle attività più costose per avere il massimo impatto.In Nextflow, utilizza risorse condizionali per suddividere l'allocazione delle risorse su più livelli in base alla dimensione o al nome del file. Per ulteriori informazioni, consulta Risorse per il processo condizionale
su Nextflow GitHub sito. - Non ottimizzate troppo presto
-
Finalizza il codice e la logica del flusso di lavoro prima di investire in importanti sforzi di ottimizzazione delle prestazioni. La modifica del codice può avere un impatto significativo sulle risorse necessarie. Se ottimizzate un'esecuzione troppo presto nel processo di sviluppo, potreste ottimizzarla eccessivamente o potrebbe essere necessario ottimizzarla nuovamente se la definizione del flusso di lavoro cambia in un secondo momento.
- Re-run lo strumento Run Analyzer periodicamente
-
Se apporti modifiche alla definizione del flusso di lavoro nel tempo o se la varianza del campione cambia, esegui periodicamente lo strumento Run Analyzer per aiutarti ad apportare ulteriori ottimizzazioni.
Metodi per ottimizzare la concorrenza delle risorse
HealthOmics fornisce le seguenti funzionalità per aiutarvi a controllare e gestire i costi quando l'elaborazione viene eseguita su larga scala:
-
Utilizza i gruppi di esecuzione per controllare i costi e l'utilizzo delle risorse. È possibile impostare valori massimi nel gruppo di esecuzione per il numero di esecuzioni simultanee, vCPU, GPU e il tempo di esecuzione totale per attività. Se team o gruppi diversi utilizzano lo stesso account, puoi creare un gruppo di esecuzione separato per ogni team. Puoi controllare l'utilizzo delle risorse e i costi per team configurando i valori massimi del gruppo di esecuzione. Per ulteriori informazioni, consulta Utilizzo dei gruppi di HealthOmics esecuzione.
-
Durante lo sviluppo, è possibile configurare un gruppo di esecuzione separato con valori massimi inferiori per rilevare le attività in esecuzione.
-
Le quote di servizio aiutano anche a proteggere il tuo account da richieste eccessive di risorse. Per informazioni su Service Quotas, incluso come richiedere aumenti del valore delle quote, consulta HealthOmics quote di servizio