View a markdown version of this page

为私有用户运行优化 HealthOmics 工作流程 - AWS HealthOmics

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

为私有用户运行优化 HealthOmics 工作流程

您可以根据总成本、总运行时间或两者的组合来优化运行。 HealthOmics 提供数据和工具来帮助您做出优化决策。运行优化不适用于 Ready2Run 工作流程,因为您无法控制该服务如何管理这些工作流程的资源配置。

第一步是了解当前任务资源使用情况和运行中任务的成本,然后应用方法来优化运行成本和性能。

要收集这些使用情况数据并在各次运行中进行比较,请参阅 调试 HealthOmics 工作流程运行。

运行分析器

HealthOmics 提供了一个名为的开源工具 运行分析器。该工具提取运行的任务级资源使用信息,并建议成本和运行性能的优化机会。

注意

运行分析器根据以下信息估算任务成本和潜在的成本节约 AWS 在运行该工具时列出价格。评估优化建议并实施对您的用例有意义的建议。测试您采用的优化,确保它们适用于您的跑步。

Run Analyzer 执行以下任务:

  • 评估内存和计算瓶颈。

  • 识别内存或 CPU 预置过多的任务,并推荐可以降低成本的新实例大小。

  • 计算单个任务的成本估算值,并计算应用建议后可能节省的成本。

  • 为您提供任务的时间表视图,以便您可以验证任务依赖关系和处理顺序。时间表还可以帮助您确定长期运行的任务。

  • 提供有关运行存储文件系统大小的建议。

  • 向您显示任务配置时间,以便您可以确定大型容器负载可能会减慢配置时间的区域。

  • 该工具包含一个输入参数(余量),可用于控制优化建议的积极性。

以下部分包含有关使用 Run Analyzer 优化运行的具体建议。

确定运行成本

您可以使用以下方法和准则来确定运行成本:

  • 要查看计费周期内的总运行成本,请执行以下步骤:

    1. 打开 账单和成本管理 控制台并选择 账单。

    2. 在 按服务收费,扩展 组学。

    3. 扩展 领域,然后查看按 omics 实例类型、运行存储类型和 Ready2Run 工作流程逐项列出的所有运行成本。

  • 要生成包含每次运行信息的成本报告,请执行以下步骤:

    1. 打开 账单和成本管理 控制台并选择 数据导出。

    2. 选择 创建 创建新的数据导出。

    3. 输入 导出名称 用于数据导出。将其他字段保留为默认值以创建 CUR(成本和使用情况)报告。

    4. 对于 时间粒度,选择每小时或每天。

    5. 在下面 数据导出存储设置,执行以下配置步骤:

      1. 为数据导出配置 Amazon S3 存储桶。

      2. 对于 文件版本控制,选择是覆盖现有导出文件还是每次都创建一个新文件。

      系统会在接下来的 24 小时内生成第一份报告,并每天生成一次后续报告。

    6. 有关如何创建数据导出的更多信息,请参阅 创建数据导出 在 AWS 数据导出用户指南。

  • 您可以标记运行情况,以按类别(例如按团队或按项目)监控和优化成本。如果您使用标签,请按照以下步骤按标签类别查看运行成本:

    1. 打开 账单和成本管理 控制台并选择 成本浏览器。

    2. 在 报告参数 > 分组依据,选择 标签 作为尺寸。然后选择所需的 标签 名字。

  • 要查看任务的资源使用情况,请在中查看运行清单日志 CloudWatch。有关更多信息,请参阅 监控 HealthOmics 和 CloudWatch 日志。

  • 使用 运行分析器 用于提取运行任务资源使用信息的工具。

确定运行时使用情况

您可以使用以下方法来帮助您调查运行时使用情况:

  • 来自 跑步 控制台页面,您可以查看运行的总运行时间。

  • 来自 跑步详情 页面,您可以查看以下项目:

    • 查看一次运行的总运行时间。

    • 查看运行中每个任务的运行时间。

    • 选择其中一个链接来查看 Amazon S3 中的日志,或者查看运行日志或运行清单日志 CloudWatch。

  • 来自 运行任务 列表,选择 查看日志 用于查看任务日志的任务链接 CloudWatch。

  • 对的回应 listRuns API 操作包括运行开始时间和停止时间,因此您可以计算总运行时间。

  • 这个 运行分析器 工具在时间轴视图上显示任务持续时间。此工具提供了任务处理序列的可视化表示,您可以将其与预期顺序进行匹配。

  • 要自己推导任务持续时间、配置时间和并行度,请参阅 根据运行清单构建任务时间表。

根据运行清单构建任务时间表

运行清单日志记录运行中每个工作流程任务的创建、启动和停止时间。使用它们来重建跑步的时间表。这个 运行分析器 该工具已经报告了其中的大部分数字。当您希望自己的脚本或仪表板中包含时间表时,或者需要工具未报告的测量值(例如同时运行的任务数量)时,可以自己创建时间表。

HealthOmics 将清单写入单个 CloudWatch 运行进入终端状态后的日志流,在关闭日志记录的情况下启动的运行永远不会出现日志流。有关日志组和直播格式以及如何关闭注销功能,请参阅 监控 HealthOmics 和 CloudWatch 日志。有关清单内容和示例,请参阅 在中运行元数据 CloudWatch。

清单中的每个 JSON 对象都是一个单独的日志事件。任务对象携带 creationTime, startTime,以及 stopTime。 HealthOmics 套 startTime 当它完成配置任务时,然后设置 stopTime 任务是成功、失败还是被取消。任务对象还带有描述性字段,您可以根据这些字段对时间表进行分组,以及中描述的资源利用率统计信息 的日志类型 HealthOmics 工作流。

HealthOmics 以 UTC 报告所有三个时间戳,因此将没有 UTC 指示符的时间戳视为 UTC。

要得出配置时间、任务持续时间和并行度,请执行以下步骤:

  1. 检索清单日志流。运行 UUID 是 uuid 的领域 GetRun 响应(参见 响应中的关键字段)。

    aws logs get-log-events \ --log-group-name /aws/omics/WorkflowLog \ --log-stream-name manifest/run/run-id/run-uuid \ --start-from-head

    读取整个直播需要几个请求。通过 nextForwardToken 从每一次回复到下一次通话 --next-token,保持 --start-from-head,直到响应返回您传递的令牌。在重复之前,代币可以在几个空响应中不断前进,因此不要停在第一个空响应处。有关更多信息,请参阅 获取日志事件 在 AWS CLI 命令参考。

  2. 解析每个事件的 message 字段作为 JSON。任务对象有一个 arn 其中包含 :task/。保留一个其中的物体 arn 字段包含 :run/: 它是运行对象,步骤 4 使用它的 stopTime。

  3. 对于每项任务,计算构成其所用时间的两个间隔:

    1. 配置时间为 startTime 减去 creationTime。

    2. 运行时长为 stopTime 减去 startTime。

    由运行缓存提供的任务没有时间戳,在时间轴上也没有位置。否则,任务不是 startTime 从来没有跑过,而且任务没有 stopTime 运行停止时仍在运行,因此它有配置时间但没有运行持续时间。对具有运行持续时间的任务进行排序,以查找运行时间最长的任务。

  4. 衡量具有以下条件的任务之间的并行度 startTime。建一个 +1 每一次过渡 startTime 还有一个 -1 在每一个 stopTime,使用 run 对象的 stopTime 用于一项没有的任务 stopTime 独一无二。按时间戳对过渡进行排序,并使其保持运行总数,在读取总数之前应用共享时间戳的每个过渡,这样一项任务在另一个开始时结束的任务不会被计算两次。每个时间戳的总数是同时运行的任务数,最大的是运行的峰值并行度。没有启动任务的运行没有任何任务。

在低并发性下长时间延伸到工作流程定义中的依赖链,您可以对其进行重组。持续较长的配置时间表明容器映像大小或等待计算容量。有关减少两者的方法,请参见 优化运行的方法。

优化运行的方法

HealthOmics 自动配置、管理和优化执行数据暂存的资源(例如数据导入和数据导出)。 HealthOmics 还会为您的工作流程启动和运行工作流引擎。但是,您可以通过设置各种运行配置来影响运行开始时间、任务开始时间和总体任务运行时间。您的工作流程定义和设计的总体方法也会影响任务运行时间。以下列表描述了可能影响运行和任务性能的因素:

运行存储类型

运行存储类型会影响运行性能和运行配置时间。动态运行存储的配置速度更快,并且永远不会耗尽内存,因为它可以根据您的运行存储需求进行动态扩展。动态运行存储也非常适合开发中的工作流程,在开发中,您通常可以启动和停止工作流程以解决问题。

静态运行存储需要更长的文件系统配置时间,但可以更快地完成某些运行,通常是在运行任务并发性较高或需要大于 9.6 TiB 的文件系统容量的情况下。静态运行存储非常适合长时间运行的工作流程 I/O 要求。

为了帮助您评估给定运行中每种运行存储类型的成本与性能,您可以尝试 A/B 测试以查看哪种运行存储类型可提供更好的性能。另外,可以考虑在开发周期中使用动态运行存储,然后将静态运行存储用于大规模生产运行。

有关运行存储类型的更多信息 在 HealthOmics 工作流程中运行存储类型

Over-provision 运行静态存储

如果您的工作流任务计算受以下限制 I/O,可以考虑预留静态运行存储。存储成本随其大小而增加,但文件系统的最大吞吐量也会增加。如果遇到昂贵的计算任务 I/O 瓶颈,增加文件系统大小以缩短任务运行时间可能会降低总体成本。

减小容器镜像的大小

当每项任务开始时, HealthOmics 加载您为任务指定的容器。较大的容器需要更长的时间才能装载。将容器优化为尽可能小,以提高启动新任务的效率。如果您向容器中添加大型数据集,请考虑将数据集存储在 S3 中,然后让您的工作流程从 S3 导入数据。对于最大容器尺寸 HealthOmics 支持,请参阅 HealthOmics 工作流程固定大小配额。

任务大小

您可以将小型的连续任务合并为单个任务,以节省任务配置时间。另外, HealthOmics 最低任务时长为一分钟,因此合并任务可以降低成本。在组合任务中,你可以使用 Unix 管道来避免 I/O 序列化和反序列化文件的成本。

文件压缩

避免过度压缩工作流程中间文件。大多数基因组学格式使用 “gzip” 或 “块 gzip” 压缩。解压缩任务输入文件并重新压缩任务输出文件会消耗任务 CPU 总使用量的很大一部分。某些基因组学应用程序允许您在序列化输出时设置压缩级别。通过降低压缩级别,您可以减少 CPU 时间,尽管较大的文件会增加写入磁盘所花费的时间。根据任务和应用程序,您可以找到中间文件的最佳压缩级别,从而实现最短的运行时间。我们建议您首先将输出文件最大的任务作为目标。2 的压缩级别适用于多种场景。您可以根据自己的用例从这个级别开始,然后尝试其他压缩级别来比较结果。

话题数

如果您在任务定义中指定线程,请将线程数设置为与请求的 vCPU 数量相同的值。

指定计算和内存

如果你没有在任务中指定内存或计算资源, HealthOmics 分配最小的实例类型 (omics.c.large) 作为默认值。如果你愿意,可以明确声明你的内存和计算需求 HealthOmics 分配更大的实例类型。

HealthOmics 分配您请求的 vCPU、内存和 GPU 资源的数量。例如,如果你要求 15vCPU 和 33GiB, HealthOmics 为你的任务分配一个 omics.m.4xl 实例(16vCPU,64GB),但你的任务只能使用 15 个 vCPU 和 33GiB。因此,我们建议您请求与 omics 实例相匹配的 vCPU 和内存资源。

提高 GPU 实例可用性

如果您的 GPU 工作流程运行失败 实例预留失败 要么 所有配置文件实例预留失败,您可以应用多种最佳实践来提高 GPU 收购的成功率。有关加速器套餐、区域灵活性和资源备用顺序的更多信息,请参阅 缓解实例预留失败错误。

将多个样本批量合并到一次运行中

由于文件系统配置在运行开始时需要时间,因此您可以通过在同一次运行中批处理多个样本来节省配置时间。在决定采用这种方法之前,请考虑以下因素:

  • 单个不良样本可能会导致工作流程失败,因此批处理样本可能会增加失败的工作流程的数量。如果您不确定自己的工作流程在大多数情况下会成功,则每个样本运行一次可能是更好的方法。

  • HealthOmics 为整个工作流程分配一个运行存储文件系统。对于一批样品,请确保指定足够大的运行存储空间来处理所有样本。

  • 每个工作流程都有最大运行存储量,因此这可能会限制您可以添加到批次中的样本数量。

  • 最小运行存储大小为 1.2 TiB,因此,如果工作流程使用的存储空间小于每个样本的最小存储容量,则批处理可以降低成本。

  • 运行存储可以处理多个同步连接,因此使用同一个运行存储空间执行多个任务不应导致 I/O 瓶颈。

  • 每次运行都有自己的一组标签。如果您使用预算或跟踪信息标记工作流程,则最好使用单独运行。

  • IAM 角色适用于整个运行。每个用户都可以访问一批样本的所有数据。分离工作流程使您能够使用更精细的权限。

  • HealthOmics 为工作流中的最大并发工作流数和最大并发任务数设置账户级配额。有关如何申请增加这些配额的信息,请参阅 HealthOmics 服务配额。

为容器镜像使用参数

参数化容器镜像,而不是将其 URI 嵌入到工作流程中。当它们是运行参数时, HealthOmics 在运行开始之前验证运行是否可以访问您的容器。否则,当您为任何已完成的任务产生费用时,该任务将在运行期间失败。另外,由于这些是参数化输入, HealthOmics 在运行清单中生成校验和,从而改善运行来源。

使用棉绒

在运行新工作流程之前,使用 linter 查找常见的工作流程错误。有关更多信息,请参阅 工作流程提示器已输入 HealthOmics。

使用 EventBridge 举报问题

使用 EventBridge 自定义警报以捕获特定于您的业务逻辑的异常。

使用序列存储

考虑对源数据使用序列存储以节省存储成本。有关更多信息,请参阅 通过以下方式经济高效地存储任何规模的组学数据 HealthOmics 博客文章。

两次运行之间文件大小差异的影响

用户通常使用一小部分测试数据来设计和测试运行,然后在生产运行中遇到文件大小差异很大的各种数据。在优化运行时,请确保将这种差异考虑在内。

下表描述了文件大小存在显著差异时的优化建议:

更改测试数据中的文件大小

尝试在开发过程中使用具有代表性方差的测试数据。

使用运行分析器

对各种样本使用 Run Analyzer 工具,以考虑数据大小的差异。

您可以使用运行分析器来了解生产数据样本中运行之间的差异。使用 --batch 在 Run Analyzer 中使用模式生成一批运行的统计信息,并分析处理数据集中的异常值所需的最大计算资源。

例如,您可以在批处理模式下为运行分析器提供完整的数据流池,以了解整个流通池的峰值 vCPU 和内存利用率。

减少输入数据集的大小差异

如果您发现样本数量的差异很大,则可以在样本的上游进行分叉 HealthOmics 并为每个批次选择不同的文件系统大小以节省运行存储成本。

在 WDL 中,使用 size 函数用于将大样本和小样本的单个任务的资源分配分开。将此策略应用于最昂贵的任务,以产生最大的影响。

在 Nextflow 中,使用条件资源根据文件大小或文件名对资源进行分层分配。欲了解更多信息,请参阅 条件流程资源 在 Nextflow 上 GitHub 网站。

不要过早优化

在投入大量性能调整工作之前,先完成工作流程代码和逻辑。更改代码可能会对所需资源产生重大影响。如果您在开发过程中过早优化运行,则可能会过度优化,或者如果以后工作流程定义发生变化,则可能需要再次优化。

Re-run 定期运行分析器工具

如果您在一段时间内对工作流程定义进行了更改,或者样本方差发生变化,请定期运行 Run Analyzer 工具以帮助您进行更多优化。

优化资源并发性的方法

HealthOmics 提供以下功能可帮助您在处理大规模运行时控制和管理成本:

  • 使用运行组来控制成本和资源使用量。您可以在运行组中设置并发运行次数、vCPU、GPU 和每个任务的总运行时间的最大值。如果不同的团队或小组使用同一个帐户,则可以为每个团队创建一个单独的跑步小组。您可以通过配置运行组最大值来控制每个团队的资源使用量和成本。有关更多信息,请参阅 使用 HealthOmics 跑步组。

  • 在开发过程中,你可以使用较低的最大值配置单独的运行组,以捕获失控的任务。

  • 服务配额还有助于保护您的账户免受过多资源请求的影响。有关服务配额的信息,包括如何申请增加配额值,请参阅 HealthOmics 服务配额