将 JAX 工作负载移植到 Pathways

本文档适用于将 JAX 工作负载移植到 Google Kubernetes Engine (GKE) 上的 Pathways 的机器学习工程师。本文档介绍了单控制器执行如何影响设备索引编制、CPU 主机大小调整、pathwaysutils 集成、检查点、数据加载、编译缓存、性能分析和 XLA 标志。

准备工作

完成以下前提条件:

进程索引

JAX with Pathways 将 Pathways 集群中的所有设备都视为本地设备,这简化了设备管理,并使 JAX 能够使用所有可用资源。在实践中,这意味着:

  • jax.process_index() 始终会为所有设备返回 0。
  • jax.devices() 和 jax.local_devices() 会返回整个作业中的所有 Cloud TPU 设备。

硬件类型和共置

为获得最佳性能,请将所有 Pathways 组件和 JAX 作业放在同一Google Cloud 可用区中。在专用、高容量的 CPU 虚拟机上运行 CPU 头节点组件,例如 IFRT 代理服务器、Pathways 资源管理器和(对于批处理工作负载)JAX 控制器进程,以处理编译和协调开销。至少使用 n2-standard-64 机器类型,该类型提供 64 个 vCPU 和 256 GB 内存。

pathwaysutils 软件包

Pathways-utils 是一个开源 Python 软件包,可将 JAX 工作负载与 Cloud 上的 Pathways 集成。它提供以下功能,可帮助您专注于机器学习工作流,只需进行极少的配置更改:

  • 代理 JAX 后端:在您设置 JAX_PLATFORMS=proxy 环境变量时启用 Pathways 后端。
  • 集成式性能分析实用程序:让您可以使用标准 JAX 性能分析 API(例如 jax.profiler.start_trace 和 jax.profiler.start_server)对 JAX 代码和底层 Pathways 组件进行性能分析。
  • 使用 Orbax 进行分布式检查点:在导入 pathwaysutils 时注册自定义 Orbax 检查点处理程序,让您无需更改 Orbax 代码即可保存和恢复分布式检查点。
  • 弹性训练基元:为弹性训练提供构建块,以便训练作业可以动态适应可用 Cloud TPU 切片的变化。

检查点

Orbax 已经过 Pathways 测试,可用于通过 Cloud Storage 进行分布式检查点设置和恢复。当您设置 ENABLE_PATHWAYS_PERSISTENCE=1 环境变量并在训练脚本中调用 import pathwaysutils; pathwaysutils.initialize() 时,Pathways 会注册自定义 ArrayHandler。它通过临时框架运行时 (IFRT) 代理运行检查点操作,让加速器上的 Pathways 工作器能够直接保存和恢复数据。

共置 Python

Colocated Python 是一个开源 JAX API,可让您直接在连接到加速器的主机 CPU 上运行用户指定的 Python 代码。在 GKE 上,Pathways 在 Cloud TPU 工作器虚拟机上运行共置的 Python,以避免通过控制器传输主机数据来进行数据加载和检查点设置。

如需构建自定义边车容器映像并使用零拷贝共享主机内存配置 Pathways JobSet,请参阅使用 Pathways 运行共置 Python。

数据加载

在训练期间,工作负载会反复从数据集中加载批量数据,以馈送给模型。使用高效的异步数据加载器,将每个批次分片到多个主机,可避免加速器缺少工作。在标准 Pathways 训练中,数据加载器在 CPU 虚拟机上运行(而不是像在多控制器设置中那样在 Cloud TPU 工作器虚拟机上运行),并将数据发送到 Cloud TPU 虚拟机。通过网络读取会增加延迟时间,Pathways 通过在 CPU 主机上提前读取多个批次并将数据异步分派到 Cloud TPU,在一定程度上缓解了这一问题。这种方法足以应对中小型规模。

在 GKE 上的头工作负载容器中运行多进程数据加载器(例如 Grain)时,该容器会与 pathways-proxy 和 pathways-rm 容器共享头节点。由于此共享主机,请配置以下内容:

  • 设置明确的工作器数量:在容器内,os.cpu_count() 会报告主机虚拟机的总 vCPU 数量,而不是容器的 CPU 限制。传递明确的工作器数量(不超过容器的 CPU 限制),而不是从 os.cpu_count() 派生。
  • 装载内存支持的 /dev/shm 卷:多进程数据加载器使用 POSIX 共享内存 (/dev/shm) 进行进程间通信。在 /dev/shm 处装载由内存支持的 emptyDir (medium: Memory) 卷,以便预提取的批次不会超出默认容器共享内存限制。

为了在大规模运行时获得最佳性能,请使用共置 Python 共置输入数据流水线,使其直接在 Cloud TPU 工作进程主机上运行。这样可以消除 CPU 瓶颈,并使用 Cloud TPU 互连进行快速数据传输。

如需查看迁移基于 TFDS 的输入流水线的参考示例,请参阅 multihost_dataloading.py 中的 RemoteIterator 实现。此实现通过使用共置的 Python JAX API,在多控制器 JAX 和 Pathways 上均可运行。

JAX 版本控制

Pathways 版本与 JAX 版本紧密耦合,以确保兼容性和稳定性。验证 Pathways 容器映像和 JAX 版本是否一致。每个 Pathways 版本都会通过 jax-<version> 格式的映像标记指定其兼容的 JAX 版本。

编译缓存

Pathways 永久性编译缓存会将已编译的 XLA 可执行文件存储在永久性位置(例如 Cloud Storage)中,以避免冗余编译。当您将 --gcs_scratch_location 传递给 pathways-proxy、pathways-rm 和 pathways-worker(或 worker)容器时,此功能默认处于启用状态。为了降低存储费用,缓存会将对象生命周期政策附加到 Cloud Storage 存储桶。由于 Cloud Storage 将存储桶限制为 50 个生命周期政策,因此请在所有工作负载中使用一个通用的 Cloud Storage 位置。

如果您省略 --gcs_scratch_location 标志或将其留空,Pathways 会回退到内存中编译缓存。此缓存不会在 Pathways 部署中保留已编译的 XLA 可执行文件。

此缓存类似于 JAX 编译缓存,pathwaysutils.initialize() 会针对 Pathways 工作负载停用该缓存。

编译缓存需要以下 Cloud Storage 权限:

  • storage.buckets.get:检索存储桶元数据。
  • storage.buckets.update:允许 Pathways 设置对象生命周期政策,以强制执行 TTL 来逐出缓存。
  • storage.objects.list:列出存储桶中的现有缓存对象。
  • storage.objects.create:将新编译的可执行文件写入缓存。
  • storage.objects.get:从存储桶中读取缓存的可执行文件。

分析

您可以通过以下两种方式使用 JAX 性能分析器生成 JAX 程序的跟踪记录:

  • 程序化:直接从 JAX 代码中捕获性能剖析文件。
  • 手动:在 JAX 代码中启动性能分析器服务器后,按需捕获性能分析文件。

在这两种情况下,Pathways 都会将配置文件写入 Cloud Storage 存储桶,并创建多个跟踪文件,这些文件可能位于不同的时间戳目录下,例如:

  • 调用跟踪记录的主 Python 进程(通常是笔记本虚拟机):JAX_CLIENT_VM_NAME.xplane.pb
  • Pathways IFRT 代理: client.PATHWAYS_HEAD_NODE_NAME.xplane.pb
  • Pathways 资源管理器: server.*PATHWAYS_HEAD_NODE_NAME.xplane.pb
  • Pathways 工作器: server.*TPU_NODE_NAME.xplane.pb

您可以通过运行以下命令,使用 TensorBoard 分析这些跟踪文件。如需详细了解 TensorBoard 及其性能分析工具,请参阅使用 Profiler 优化 TensorFlow 性能。

# Verify that trace files are present
gcloud storage ls -l -r gs://BUCKET/PREFIX

# View on TensorBoard
tensorboard --load_fast=false --logdir=gs://BUCKET/PREFIX

替换以下内容:

  • BUCKET:存储跟踪文件的 Cloud Storage 存储桶。
  • PREFIX:Cloud Storage 存储桶中存储跟踪文件的路径。

程序化性能剖析文件捕获

从代码内部捕获性能剖析数据。Pathways 会将性能分析文件保存在 gs://BUCKET/PREFIX 的时间戳目录下:

import jax
import pathwaysutils

pathwaysutils.initialize()

jax.profiler.start_trace("gs://BUCKET/PREFIX")

# Run the operations to be profiled
key = jax.random.key(0)
x = jax.random.normal(key, (5000, 5000))
y = x @ x
y.block_until_ready()

jax.profiler.stop_trace()

手动捕获性能剖析文件

如需手动捕获性能分析信息,请从 Python 代码启动性能分析器服务器:

import jax
import pathwaysutils

pathwaysutils.initialize()

jax.profiler.start_server(JAX_PROFILER_PORT)

# Your JAX code
jax.profiler.stop_server()

将 JAX_PROFILER_PORT 替换为 JAX 性能分析器服务器的端口号。

在性能分析器服务器运行时,捕获性能剖析文件并将数据导出到目标 Cloud Storage 位置。从工作负载容器内运行以下命令,或从 pathways-head Pod 转发 JAX_PROFILER_PORT 后运行以下命令:

export DURATION_IN_SECS=6
export OUTPUT_DIR="gs://BUCKET/PREFIX/"

curl -X POST http://localhost:JAX_PROFILER_PORT/profiling \
     -H "Content-Type: application/json" \
     -d "{\"duration_ms\": $((DURATION_IN_SECS * 1000)), \"repository_path\": \"${OUTPUT_DIR}\"}"

您可以在程序的跟踪记录中找到 IFRT 代理客户端方法(例如 Compile 和 Execute)的时间信息。这些事件详细说明了在编译和执行期间与 IFRT 代理 gRPC 服务器的交互,它们会显示在名为 GrpcClientSessionUserFuturesWorkQueue 的线程上。在跟踪记录中检查此线程,可让您深入了解这些操作的性能。

XLA 标志

使用 Pathways 时,请在 pathways-proxy 容器中设置 XLA 标志。

使用 Cluster Toolkit(gcluster job submit 命令)时,请使用 --pathways-proxy-args 设置 XLA 标志:

--pathways-proxy-args="--xla_flag_1=value1 --xla_flag_2=value2"

HLO 转储

如需检查传递给 XLA 编译器的高级优化器 (HLO) 输入,请使用 --pathways-proxy-args 将 Pathways 配置为将 HLO 转储到 Cloud Storage 位置:

--pathways-proxy-args="--xla_dump_to=gs://BUCKET_NAME/HLO_PREFIX/"

替换以下内容:

  • BUCKET_NAME:用于 HLO 转储的 Cloud Storage 存储桶。
  • HLO_PREFIX:存储桶中的路径前缀。

后续步骤