View a markdown version of this page

Execute a otimização para um ambiente privado HealthOmics fluxo de trabalho - AWS HealthOmics

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Execute a otimização para um ambiente privado HealthOmics fluxo de trabalho

Você pode otimizar as execuções pelo custo total, pelo tempo total de execução ou por uma combinação de ambos. HealthOmics fornece dados e ferramentas para ajudá-lo a tomar decisões de otimização. A otimização de execução não se aplica aos fluxos de trabalho do Ready2Run, porque você não tem controle sobre como o serviço gerencia o provisionamento de recursos para esses fluxos de trabalho.

A primeira etapa é entender o uso atual dos recursos da tarefa e o custo das tarefas em execução e, em seguida, aplicar métodos para otimizar o custo de execução e o desempenho.

Para coletar esses dados de uso e compará-los entre as execuções, consulte Depurando um HealthOmics execução do fluxo de trabalho.

Execute o Analyzer

HealthOmics fornece uma ferramenta de código aberto chamada Execute o Analyzer. Essa ferramenta extrai informações de uso de recursos no nível da tarefa para uma execução e sugere oportunidades de otimização de custo e desempenho da execução.

nota

O Run Analyzer estima os custos das tarefas e possíveis economias de custos com base em AWS liste os preços no momento em que você executa a ferramenta. Avalie as recomendações de otimização e implemente aquelas que fazem sentido para seus casos de uso. Teste as otimizações que você adota para garantir que elas funcionem para sua execução.

O Run Analyzer executa as seguintes tarefas:

  • Avalia gargalos de memória e computação.

  • Identifica tarefas com excesso de provisionamento de memória ou CPU e recomenda novos tamanhos de instância que podem reduzir os custos.

  • Calcula estimativas de custo para tarefas individuais e calcula as possíveis economias de custo se você aplicar as recomendações.

  • Oferece uma visão cronológica das tarefas para que você possa verificar as dependências das tarefas e a sequência de processamento. O cronograma também ajuda você a identificar tarefas de longa duração.

  • Fornece recomendações sobre o tamanho do sistema de arquivos para o armazenamento em execução.

  • Mostra os tempos de provisionamento de tarefas para que você possa identificar áreas em que grandes cargas de contêineres podem estar diminuindo o tempo de provisionamento.

  • A ferramenta inclui um parâmetro de entrada (espaço livre) que você pode usar para controlar a agressividade das recomendações de otimização.

As seções a seguir incluem sugestões específicas para usar o Run Analyzer para otimizar as execuções.

Determine os custos de operação

Você pode usar os seguintes métodos e diretrizes para determinar os custos operacionais:

  • Para ver os custos operacionais totais de um período de cobrança, siga estas etapas:

    1. Abra o Gerenciamento de cobrança e custos console e escolha Contas.

    2. Em Cobranças por serviço, expanda Ômicas.

    3. Expandir o regiãoe, em seguida, visualize o custo de todas as suas execuções discriminadas por tipo de instância omics, tipo de armazenamento de execução e fluxo de trabalho do Ready2Run.

  • Para gerar um relatório de custo que inclua informações para cada execução, siga estas etapas:

    1. Abra o Gerenciamento de cobrança e custos console e escolha Exportações de dados.

    2. Escolha Criar para criar uma nova exportação de dados.

    3. Insira um Nome da exportação para a exportação de dados. Mantenha os outros campos em seus valores padrão para criar um relatório CUR (custo e uso).

    4. Para Granularidade temporal, selecione de hora em hora ou diariamente.

    5. Abaixo Configurações de armazenamento de exportação de dados, execute estas etapas de configuração:

      1. Configure um bucket do Amazon S3 para a exportação de dados.

      2. Para Controle de versão de arquivos, selecione se deseja substituir o arquivo de exportação existente ou criar um novo arquivo a cada vez.

      O sistema gera o primeiro relatório nas próximas 24 horas e gera os relatórios subsequentes uma vez por dia.

    6. Para obter mais informações sobre como criar a exportação de dados, consulte Criação de exportações de dados na AWS Guia do usuário de exportações de dados.

  • Você pode marcar suas corridas para monitorar e otimizar os custos por categoria, como por equipe ou por projeto. Se você usa tags, siga estas etapas para visualizar os custos de execução por categoria de tag:

    1. Abra o Gerenciamento de cobrança e custos console e escolha Explorador de custos.

    2. Em Parâmetros do relatório > Agrupar por, escolheu Etiqueta como a dimensão. e selecione o desejado Etiqueta nome.

  • Para ver o uso de recursos para tarefas, veja os registros do manifesto de execução em CloudWatch. Para obter mais informações, consulte Monitoramento HealthOmics com CloudWatch Registros.

  • Use o Execute o Analyzer ferramenta para extrair informações de uso de recursos da tarefa para uma execução.

Determine o uso do tempo de execução

Você pode usar os métodos a seguir para ajudar a investigar o uso do tempo de execução:

  • Do Corre na página do console, você pode ver o tempo total de execução de uma execução.

  • Do Detalhes da execução na página, você pode visualizar os seguintes itens:

    • Veja o tempo total de execução de uma corrida.

    • Visualize o tempo de execução de cada tarefa na execução.

    • Escolha um dos links para visualizar os logs no Amazon S3, ou para visualizar os logs de execução ou executar os logs de manifesto no CloudWatch.

  • A partir do Executar tarefas lista, escolha o Exibir registros link para uma tarefa para visualizar os logins da tarefa CloudWatch.

  • A resposta ao listRuns A operação da API inclui a hora de início e a hora de término da execução, para que você possa calcular o tempo total de execução.

  • O Execute o Analyzer A ferramenta mostra as durações das tarefas em uma visualização da linha do tempo. Essa ferramenta fornece uma representação visual da sequência de processamento da tarefa, que você pode combinar com a ordem esperada.

  • Para derivar você mesmo as durações das tarefas, o tempo de provisionamento e o paralelismo, consulte Criação de um cronograma de tarefas a partir do manifesto de execução.

Criação de um cronograma de tarefas a partir do manifesto de execução

O log do manifesto de execução registra os horários de criação, início e término de cada tarefa do fluxo de trabalho em uma execução. Use-os para reconstruir uma linha do tempo da corrida. O Execute o Analyzer A ferramenta já reporta a maioria desses números. Crie você mesmo o cronograma quando quiser que eles estejam em seu próprio script ou painel, ou quando precisar de uma medida que a ferramenta não relata, como quantas tarefas foram executadas simultaneamente.

HealthOmics grava o manifesto em um único CloudWatch um fluxo de log após a execução atingir um estado terminal e uma execução iniciada com o registro desativado nunca recebe um. Para saber mais sobre o grupo de registros e os formatos de stream, e para saber como desativar o registro, consulte Monitoramento HealthOmics com CloudWatch Registros. Para ver o conteúdo do manifesto e um exemplo, consulte Execute metadados em CloudWatch.

Cada objeto JSON no manifesto é um evento de log separado. Objetos de tarefas carregam creationTime, startTime, e stopTime. HealthOmics conjuntos startTime quando ele termina de provisionar a tarefa e define stopTime se a tarefa for bem-sucedida, falhar ou ser cancelada. Os objetos de tarefa também contêm campos descritivos pelos quais você pode agrupar a linha do tempo, além das estatísticas de utilização de recursos descritas em Tipos de registro para HealthOmics fluxos de trabalho.

HealthOmics relata todos os três timestamps em UTC, então trate um timestamp sem um designador UTC como UTC.

Para obter o tempo de provisionamento, a duração das tarefas e o paralelismo, siga estas etapas:

  1. Recupere o fluxo de log do manifesto. O UUID de execução é o uuid campo do GetRun resposta (veja Campos-chave na resposta).

    aws logs get-log-events \ --log-group-name /aws/omics/WorkflowLog \ --log-stream-name manifest/run/run-id/run-uuid \ --start-from-head

    A leitura de todo o stream exige várias solicitações. Passe o nextForwardToken de cada resposta como a próxima chamada --next-token, mantendo --start-from-head, até que uma resposta retorne o token que você passou. O token pode continuar avançando em algumas respostas vazias antes de se repetir, então não pare na primeira resposta vazia. Para obter mais informações, consulte eventos get-log- na AWS CLI Referência de comando.

  2. Analise cada evento message campo como JSON. Um objeto de tarefa tem um arn que contém :task/. Mantenha o único objeto cujo arn campo contém :run/: é o objeto de execução e a etapa 4 usa seu stopTime.

  3. Para cada tarefa, calcule os dois intervalos que compõem o tempo decorrido:

    1. O tempo de provisionamento é startTime menos creationTime.

    2. A duração da execução é stopTime menos startTime.

    Uma tarefa servida a partir do cache de execução não tem carimbos de data e hora e não tem lugar na linha do tempo. Caso contrário, uma tarefa sem startTime nunca foi executado e é uma tarefa sem stopTime ainda estava em execução quando a execução foi interrompida, portanto, tem um tempo de provisionamento, mas não tem duração de execução. Classifique as tarefas que têm uma duração de execução para encontrar as mais longas.

  4. Meça o paralelismo entre as tarefas que têm um startTime. Construa um +1 transição em cada startTime e um -1 em cada stopTime, usando o objeto de execução stopTime para uma tarefa que não tem stopTime de sua própria autoria. Classifique as transições por carimbo de data/hora e acompanhe-as mantendo um total contínuo, aplicando todas as transições que compartilham um carimbo de data/hora antes de ler o total, para que uma tarefa que termine quando outra comece não seja contada duas vezes. O total em cada timestamp é o número de tarefas executadas simultaneamente, e o maior é o paralelismo de pico da execução. Uma execução em que nenhuma tarefa foi iniciada não tem nenhuma.

Longos trechos com baixa simultaneidade apontam para uma cadeia de dependências em sua definição de fluxo de trabalho que você pode reestruturar. Tempos de provisionamento consistentemente altos apontam para o tamanho da imagem do contêiner ou para uma espera pela capacidade computacional. Para os métodos que reduzem ambos, consulte Métodos para otimizar execuções.

Métodos para otimizar execuções

HealthOmics provisiona, gerencia e otimiza automaticamente os recursos que realizam a preparação de dados (como importações e exportações de dados). HealthOmics também inicia e executa o mecanismo de fluxo de trabalho para seu fluxo de trabalho. No entanto, você pode influenciar os horários de início da execução, os horários de início da tarefa e o tempo geral de execução da tarefa definindo várias configurações de execução. Sua abordagem geral à definição e ao design do fluxo de trabalho também afeta o tempo de execução da tarefa. A lista a seguir descreve os fatores que podem afetar o desempenho da execução e da tarefa:

Executar tipo de armazenamento

O tipo de armazenamento executado tem um impacto no desempenho da execução e no tempo de provisionamento da execução. O armazenamento de execução dinâmica é provisionado com mais rapidez e nunca fica sem memória, pois ele se adapta dinamicamente às suas necessidades de armazenamento de execução. O armazenamento de execução dinâmica também é uma boa opção para fluxos de trabalho em desenvolvimento, nos quais você geralmente pode iniciar e interromper um fluxo de trabalho para solucionar problemas.

O armazenamento de execução estática exige tempos maiores de provisionamento do sistema de arquivos, mas pode concluir algumas execuções mais rapidamente, normalmente se as execuções tiverem alta simultaneidade de tarefas ou exigirem mais de 9,6 TiB de capacidade do sistema de arquivos. O armazenamento de execução estática é adequado para fluxos de trabalho de longa duração com alta I/O requisitos.

Para ajudá-lo a avaliar o custo versus o desempenho de cada tipo de armazenamento de execução para uma determinada execução, você pode tentar A/B testando para ver qual tipo de armazenamento de execução oferece melhor desempenho. Além disso, considere usar o armazenamento de execução dinâmica para seus ciclos de desenvolvimento e, em seguida, use o armazenamento de execução estática para execuções de produção em grande escala.

Para obter mais informações sobre executar tipos de armazenamento Execute tipos de armazenamento em HealthOmics fluxos de trabalho

Over-provision executar armazenamento estático

Se o cálculo da tarefa do seu fluxo de trabalho estiver limitado por I/O, considere o superprovisionamento do armazenamento de execução estática. O custo de armazenamento aumenta com seu tamanho, mas a taxa de transferência máxima do sistema de arquivos também aumenta. Se uma tarefa computacional cara estiver ocorrendo I/O gargalos, aumentar o tamanho do sistema de arquivos para reduzir o tempo de execução da tarefa pode reduzir o custo geral.

Reduza o tamanho das imagens do contêiner

Quando cada tarefa é iniciada, HealthOmics carrega o contêiner que você especificou para a tarefa. Contêineres maiores demoram mais para carregar. Otimize seus contêineres para serem tão pequenos quanto possível para melhorar a eficiência do lançamento de novas tarefas. Se você adicionar grandes conjuntos de dados aos seus contêineres, considere armazená-los no S3 e fazer com que seu fluxo de trabalho importe os dados do S3. Para os tamanhos máximos de contêineres que HealthOmics suportes, veja HealthOmics cotas de tamanho fixo do fluxo de trabalho.

Tamanho da tarefa

Você pode combinar tarefas pequenas e sequenciais em uma única tarefa para economizar tempo de provisionamento de tarefas. Além disso, HealthOmics tem uma cobrança de duração mínima de um minuto, portanto, combinar tarefas pode reduzir custos. Dentro da tarefa combinada, você poderá usar tubos Unix para evitar o I/O custo de serializar e desserializar arquivos.

Compressão de arquivos

Evite compactar excessivamente os arquivos intermediários do fluxo de trabalho. A maioria dos formatos genômicos usa compressão “gzip” ou “block gzip”. Descompactar o arquivo de entrada da tarefa e recomprimir o arquivo de saída da tarefa pode consumir uma grande porcentagem do uso geral da CPU da tarefa. Alguns aplicativos genômicos permitem que você defina o nível de compressão ao serializar as saídas. Ao reduzir o nível de compactação, você pode reduzir o tempo de CPU, embora arquivos maiores aumentem o tempo gasto gravando em disco. Dependendo da tarefa e do aplicativo, você pode encontrar o nível de compactação ideal para arquivos intermediários que resultam no menor tempo de execução. Recomendamos que você comece segmentando as tarefas com os maiores arquivos de saída. Um nível de compressão de 2 funciona bem em vários cenários. Você pode começar com esse nível para seu caso de uso e comparar os resultados testando outros níveis de compressão.

Contagem de linhas

Se você especificar segmentos em sua definição de tarefa, defina o número de segmentos com o mesmo valor que o número de vCPUs solicitadas.

Especifique computação e memória

Se você não especificar recursos de memória ou computação em sua tarefa, HealthOmics atribui o menor tipo de instância (omics.c.large) como padrão. Declare explicitamente seus requisitos de memória e computação, se quiser HealthOmics para atribuir um tipo de instância maior.

HealthOmics aloca o número de recursos de vCPUs, memória e GPU que você solicita. Por exemplo, se você solicitar 15 vCPUs e 33 GiB, HealthOmics aloca uma instância omics.m.4xl (16vCPUs, 64GB) para sua tarefa, mas sua tarefa pode usar somente 15 vCPUs e 33GiB. Portanto, recomendamos que você solicite vCPUs e recursos de memória que correspondam a uma instância omics.

Melhore a disponibilidade da instância de GPU

Se a execução do fluxo de trabalho da GPU falhar com FALHOU NA RESERVAÇÃO_DA INSTÂNCIA ou ALL_PROFILES_INSTANCE_RESERVATION_FAILED, você pode aplicar várias práticas recomendadas para melhorar o sucesso da aquisição de GPU. Para obter mais informações sobre pacotes de aceleradores, flexibilidade regional e ordem alternativa de recursos, consulte Mitigando erros de INSTANCE_RESERVATION_FAILED.

Agrupe várias amostras em uma única execução

Como o provisionamento do sistema de arquivos leva tempo no início da execução, você pode economizar no tempo de provisionamento agrupando várias amostras na mesma execução. Considere os seguintes fatores antes de decidir sobre essa abordagem:

  • Uma única amostra incorreta pode causar falha no fluxo de trabalho, portanto, agrupar amostras em lote pode aumentar o número de fluxos de trabalho com falha. Se você não tem certeza de que seu fluxo de trabalho será bem-sucedido na maioria das vezes, uma execução por amostra pode ser uma abordagem melhor.

  • HealthOmics aloca um sistema de arquivos de armazenamento de execução para todo o fluxo de trabalho. Para um lote de amostras, certifique-se de especificar uma quantidade suficiente de armazenamento de execução para processar todas as amostras.

  • Há uma quantidade máxima de armazenamento de execução por fluxo de trabalho, o que pode restringir o número de amostras que você pode adicionar ao lote.

  • O tamanho mínimo de armazenamento de execução é 1,2 TiB, portanto, o lote pode reduzir os custos se o fluxo de trabalho usar muito menos armazenamento do que o mínimo para cada amostra.

  • O armazenamento em execução pode lidar com várias conexões simultâneas, portanto, ter várias tarefas usando o mesmo armazenamento em execução não deve causar I/O gargalos.

  • Cada corrida tem seu próprio conjunto de tags. Se você marcar fluxos de trabalho com informações para orçamento ou acompanhamento, talvez seja melhor usar execuções separadas.

  • As funções do IAM se aplicam a toda a execução. Cada usuário tem acesso a todos os dados de um lote de amostras. Ter fluxos de trabalho separados permite que você use permissões mais refinadas.

  • HealthOmics define cotas em nível de conta para o número máximo de fluxos de trabalho simultâneos e o número máximo de tarefas simultâneas em um fluxo de trabalho. Para obter informações sobre como solicitar um aumento dessas cotas, consulte HealthOmics cotas de serviço.

Use parâmetros para imagens de contêiner

Parametrize suas imagens de contêiner em vez de incorporar seus URIs no fluxo de trabalho. Quando são parâmetros de execução, HealthOmics valida se a execução tem acesso aos seus contêineres antes do início da execução. Caso contrário, a tarefa falhará durante a execução, quando você tiver incorrido em cobranças por qualquer tarefa concluída. Além disso, como essas são entradas parametrizadas, HealthOmics gera uma soma de verificação no manifesto de execução, o que melhora a proveniência da execução.

Use um linter

Use um linter para encontrar erros comuns no fluxo de trabalho antes de executar um novo fluxo de trabalho. Para obter mais informações, consulte Fluxo de trabalho intermitente em HealthOmics.

Uso EventBridge para sinalizar problemas

Uso EventBridge alertas personalizados para detectar anomalias específicas da sua lógica de negócios.

Use armazenamentos de sequências

Considere usar um armazenamento de sequência para seus dados de origem para economizar nos custos de armazenamento. Para obter mais informações, consulte o Armazene dados ômicos de forma econômica em qualquer escala com HealthOmics postagem no blog.

Impacto da variação do tamanho do arquivo entre as execuções

Os usuários geralmente projetam e testam execuções usando um pequeno conjunto de dados de teste e, em seguida, encontram uma grande variedade de dados com uma variação significativa no tamanho do arquivo nas execuções de produção. Certifique-se de considerar essa variação ao otimizar a execução.

A lista a seguir descreve as recomendações para otimização quando há uma variação significativa nos tamanhos dos arquivos:

Varie os tamanhos dos arquivos em seus dados de teste

Tente usar dados de teste durante o desenvolvimento que tenham uma quantidade representativa de variação.

Use o Run Analyzer

Use a ferramenta Run Analyzer em uma variedade de amostras para contabilizar a variação nos tamanhos dos dados.

Você pode usar o analisador de execução para entender a variação entre as execuções em suas amostras de dados de produção. Uso --batch modo no Run Analyzer para gerar estatísticas para um lote de execuções e analisar o máximo de recursos computacionais necessários para lidar com valores atípicos em seus conjuntos de dados.

Por exemplo, você pode fornecer ao Run Analyzer uma célula de fluxo completo de dados no modo batch para entender o pico de utilização de vCPU e memória para a célula de fluxo total.

Reduzir a variação de tamanho dos conjuntos de dados de entrada

Se você observar uma alta variação nos tamanhos das amostras, poderá bifurcar as amostras a montante de HealthOmics e selecione diferentes tamanhos de sistema de arquivos para cada lote para economizar nos custos de armazenamento em execução.

Na WDL, use o size função para bifurcar a alocação de recursos para tarefas individuais para amostras grandes versus pequenas. Aplique essa estratégia às suas tarefas mais caras para ter o maior impacto.

No Nextflow, use recursos condicionais para hierarquizar a alocação de recursos com base no tamanho ou nome do arquivo. Para obter mais informações, consulte Recursos condicionais do processo no Nextflow GitHub site.

Não otimize muito cedo

Finalize o código e a lógica do fluxo de trabalho antes de investir em esforços significativos de ajuste de desempenho. Alterar seu código pode ter impactos significativos nos recursos necessários. Se você otimizar uma execução muito cedo no processo de desenvolvimento, poderá otimizar demais ou talvez precise otimizá-la novamente se a definição do fluxo de trabalho for alterada posteriormente.

Re-run a ferramenta Run Analyzer periodicamente

Se você fizer alterações na definição do fluxo de trabalho ao longo do tempo ou se a variação da amostra mudar, execute periodicamente a ferramenta Run Analyzer para ajudá-lo a fazer otimizações adicionais.

Métodos para otimizar a simultaneidade de recursos

HealthOmics fornece os seguintes recursos para ajudá-lo a controlar e gerenciar custos quando o processamento é executado em grande escala:

  • Use grupos de execução para controlar seus custos e o uso de recursos. Você pode definir valores máximos no grupo de execução para o número de execuções simultâneas, vCPUs, GPUs e tempo total de execução por tarefa. Se equipes ou grupos diferentes usarem a mesma conta, você poderá criar um grupo de corrida separado para cada equipe. Você pode controlar o uso de recursos e os custos por equipe, configurando os valores máximos do grupo de execução. Para obter mais informações, consulte Usando grupos de HealthOmics execução.

  • Durante o desenvolvimento, você pode configurar um grupo de execução separado com valores máximos mais baixos para capturar tarefas descontroladas.

  • As cotas de serviço também ajudam a proteger sua conta contra solicitações excessivas de recursos. Para obter informações sobre cotas de serviço, incluindo como solicitar aumentos no valor da cota, consulte HealthOmics cotas de serviço