JAX ワークロードを Pathways に移植する

このドキュメントは、JAX ワークロードを Google Kubernetes Engine(GKE)の Pathways に移植する ML エンジニアを対象としています。単一コントローラによる実行が、デバイスのインデックス登録、CPU ホストのサイズ設定、pathwaysutils の統合、チェックポイント、データの読み込み、コンパイル キャッシュ、プロファイリング、XLA フラグにどのように影響するかについて説明します。

始める前に

次の前提条件を満たしていることを確認してください。

プロセス インデックス

Pathways を使用する JAX は、Pathways クラスタ内のすべてのデバイスをローカルとして扱います。これにより、デバイス管理が簡素化され、JAX は使用可能なすべてのリソースを使用できます。実際には、これは次のことを意味します。

  • jax.process_index() は、すべてのデバイスで常に 0 を返します。
  • jax.devices() と jax.local_devices() は、ジョブ全体のすべての Cloud TPU デバイスを返します。

ハードウェアの種類とコロケーション

パフォーマンスを最大限に高めるには、すべての Pathways コンポーネントと JAX ジョブを同じGoogle Cloud ゾーンに配置します。IFRT プロキシ サーバー、Pathways リソース マネージャー、JAX コントローラ プロセス(バッチ ワークロードの場合)などの CPU ヘッドノード コンポーネントを、専用の大容量 CPU VM で実行して、コンパイルと調整のオーバーヘッドを処理します。64 個の vCPU と 256 GB のメモリを備えた n2-standard-64 以上のマシンタイプを使用します。

pathwaysutils パッケージ

Pathways-utils は、JAX ワークロードを Cloud の Pathways と統合するオープンソースの Python パッケージです。次の機能により、最小限の構成変更で ML ワークフローに集中できます。

  • プロキシ JAX バックエンド: JAX_PLATFORMS=proxy 環境変数を設定すると、Pathways バックエンドが有効になります。
  • 統合プロファイリング ユーティリティ: jax.profiler.start_trace や jax.profiler.start_server などの標準の JAX プロファイリング API を使用して、JAX コードと基盤となる Pathways コンポーネントの両方をプロファイリングできます。
  • Orbax を使用した分散チェックポイント処理: pathwaysutils をインポートするときに、カスタム Orbax チェックポイント ハンドラを登録します。これにより、Orbax コードを変更せずに分散チェックポイントを保存して復元できます。
  • エラスティック トレーニング プリミティブ: エラスティック トレーニングのビルディング ブロックを提供します。これにより、トレーニング ジョブは、使用可能な Cloud TPU スライスの変化に動的に適応できます。

チェックポイント処理

Orbax は、Cloud Storage を使用した分散チェックポイントと復元のために Pathways でテストされています。ENABLE_PATHWAYS_PERSISTENCE=1 環境変数を設定し、トレーニング スクリプトで import pathwaysutils; pathwaysutils.initialize() を呼び出すと、Pathways はカスタム ArrayHandler を登録します。Interim Framework Runtime(IFRT)プロキシを介してチェックポイント オペレーションを実行し、アクセラレータ上の Pathways ワーカーがデータを直接保存して復元できるようにします。

コロケーション Python

コロケーション Python は、ユーザー指定の Python コードをアクセラレータに接続されたホスト CPU で直接実行できるオープンソースの JAX API です。GKE では、Pathways は Cloud TPU ワーカー VM でコロケーションされた Python を実行し、データの読み込みとチェックポイント処理のためにコントローラを介してホストデータを転送しないようにします。

カスタム サイドカー コンテナ イメージをビルドし、ゼロコピー共有ホストメモリを使用して Pathways JobSet を構成するには、Pathways でコロケーションされた Python を実行するをご覧ください。

データ読み込み

トレーニング中、ワークロードはデータセットからバッチを繰り返し読み込み、モデルにフィードします。各バッチをホスト間でシャーディングする効率的な非同期データローダーを使用すると、アクセラレータの作業不足を回避できます。標準の Pathways トレーニングでは、データローダーは CPU VM(マルチコントローラ設定の Cloud TPU ワーカー VM ではなく)で実行され、Cloud TPU VM にデータを送信します。ネットワークを介して読み取りを行うとレイテンシが増加します。Pathways は、CPU ホストで複数のバッチを事前に読み取り、データを Cloud TPU に非同期でディスパッチすることで、このレイテンシを部分的に軽減します。このアプローチは、小規模から中規模のスケールで十分です。

GKE のヘッド ワークロード コンテナでマルチプロセス データローダー(Grain など)を実行すると、コンテナは pathways-proxy コンテナと pathways-rm コンテナとヘッドノードを共有します。この共有ホストのため、次の構成を行います。

  • ワーカー数を明示的に設定する: コンテナ内では、os.cpu_count() はコンテナの CPU 上限ではなく、ホスト VM の合計 vCPU を報告します。os.cpu_count() から取得するのではなく、明示的なワーカー数(コンテナの CPU 上限以下)を渡します。
  • メモリベースの /dev/shm ボリュームをマウントする: マルチプロセス データローダーは、プロセス間通信に POSIX 共有メモリ(/dev/shm)を使用します。プリフェッチされたバッチがデフォルトのコンテナ共有メモリの上限を超えないように、/dev/shm にメモリバック emptyDir(medium: Memory)ボリュームをマウントします。

大規模なパフォーマンスを最適化するには、コロケーション Python を使用して入力データ パイプラインをコロケーションし、Cloud TPU ワーカーホストで直接実行します。これにより、CPU のボトルネックが解消され、Cloud TPU 相互接続を使用して高速なデータ転送が実現します。

TFDS ベースの入力パイプラインを移行するリファレンス例については、multihost_dataloading.py の RemoteIterator 実装をご覧ください。この実装は、コロケーションされた Python JAX API を使用することで、マルチコントローラ JAX と Pathways の両方で動作します。

JAX のバージョニング

Pathways のリリースは、互換性と安定性を確保するために JAX のバージョンと密結合されています。Pathways コンテナ イメージと JAX バージョンが一致していることを確認します。各 Pathways リリースでは、jax-<version> 形式のイメージタグを使用して、互換性のある JAX バージョンを指定します。

コンパイル キャッシュ

Pathways の永続コンパイル キャッシュは、コンパイル済みの XLA 実行可能ファイルを Cloud Storage などの永続的な場所に保存して、冗長なコンパイルを回避します。この機能は、--gcs_scratch_location を pathways-proxy、pathways-rm、pathways-worker(または worker)コンテナに渡すと、デフォルトで有効になります。ストレージ費用を低く抑えるため、キャッシュはオブジェクト ライフサイクル ポリシーを Cloud Storage バケットに接続します。Cloud Storage ではバケットが 50 個のライフサイクル ポリシーに制限されるため、すべてのワークロードで共通の Cloud Storage のロケーションを使用します。

--gcs_scratch_location フラグを省略するか、空のままにすると、Pathways はインメモリ コンパイル キャッシュにフォールバックします。このキャッシュは、コンパイル済みの XLA 実行可能ファイルを Pathways デプロイ間で保持しません。

このキャッシュは、JAX コンパイル キャッシュに似ています。pathwaysutils.initialize() は、Pathways ワークロードに対してこのキャッシュを無効にします。

コンパイル キャッシュには、次の Cloud Storage 権限が必要です。

  • storage.buckets.get: バケット メタデータを取得します。
  • storage.buckets.update: Pathways がオブジェクト ライフサイクル ポリシーを設定して、キャッシュの強制排除に TTL を適用できるようにします。
  • storage.objects.list: バケット内の既存のキャッシュ オブジェクトを一覧表示します。
  • storage.objects.create: 新しいコンパイル済み実行可能ファイルをキャッシュに書き込みます。
  • storage.objects.get: キャッシュに保存された実行可能ファイルをバケットから読み取ります。

プロファイリング

JAX プロファイラを使用して JAX プログラムのトレースを生成するには、次の 2 つの方法があります。

  • プログラマティック: JAX コードから直接プロファイルをキャプチャします。
  • 手動: JAX コードでプロファイラ サーバーを起動した後、オンデマンドでプロファイルをキャプチャします。

どちらの場合も、Pathways はプロファイルを Cloud Storage バケットに書き込み、複数のトレース ファイルを作成します。これらのファイルは、異なるタイムスタンプ ディレクトリに作成される可能性があります。次に例を示します。

  • トレースを呼び出したメインの Python プロセス(通常はノートブック VM): JAX_CLIENT_VM_NAME.xplane.pb
  • Pathways IFRT プロキシ: client.PATHWAYS_HEAD_NODE_NAME.xplane.pb
  • Pathways リソース マネージャー: server.*PATHWAYS_HEAD_NODE_NAME.xplane.pb
  • Pathways ワーカー: server.*TPU_NODE_NAME.xplane.pb

これらのトレース ファイルを TensorBoard で分析するには、次のコマンドを実行します。TensorBoard とそのプロファイリング ツールの詳細については、プロファイラを使用して TensorFlow のパフォーマンスを最適化するをご覧ください。

# Verify that trace files are present
gcloud storage ls -l -r gs://BUCKET/PREFIX

# View on TensorBoard
tensorboard --load_fast=false --logdir=gs://BUCKET/PREFIX

次のように置き換えます。

  • BUCKET: トレース ファイルを保存する Cloud Storage バケット。
  • PREFIX: トレース ファイルを保存する Cloud Storage バケット内のパス。

プログラムによるプロファイルのキャプチャ

コード内からプロファイルをキャプチャします。Pathways は、タイムスタンプ ディレクトリの gs://BUCKET/PREFIX にプロファイルを保存します。

import jax
import pathwaysutils

pathwaysutils.initialize()

jax.profiler.start_trace("gs://BUCKET/PREFIX")

# Run the operations to be profiled
key = jax.random.key(0)
x = jax.random.normal(key, (5000, 5000))
y = x @ x
y.block_until_ready()

jax.profiler.stop_trace()

手動プロファイル キャプチャ

プロファイル情報を手動でキャプチャするには、Python コードからプロファイラ サーバーを起動します。

import jax
import pathwaysutils

pathwaysutils.initialize()

jax.profiler.start_server(JAX_PROFILER_PORT)

# Your JAX code
jax.profiler.stop_server()

JAX_PROFILER_PORT は、JAX プロファイラ サーバーのポート番号に置き換えます。

プロファイラ サーバーの実行中に、プロファイルをキャプチャして、ターゲットの Cloud Storage の場所にデータをエクスポートします。ワークロード コンテナ内から、または pathways-head Pod から JAX_PROFILER_PORT を転送した後に、次のコマンドを実行します。

export DURATION_IN_SECS=6
export OUTPUT_DIR="gs://BUCKET/PREFIX/"

curl -X POST http://localhost:JAX_PROFILER_PORT/profiling \
     -H "Content-Type: application/json" \
     -d "{\"duration_ms\": $((DURATION_IN_SECS * 1000)), \"repository_path\": \"${OUTPUT_DIR}\"}"

Compile や Execute などの IFRT プロキシ クライアント メソッドのタイミング情報は、プログラムのトレース内で確認できます。これらのイベントは、コンパイルと実行中に IFRT プロキシ gRPC サーバーとのやり取りを詳細に記録するもので、GrpcClientSessionUserFuturesWorkQueue という名前のスレッドに表示されます。トレースでこのスレッドを調べると、これらのオペレーションのパフォーマンスを把握できます。

XLA フラグ

Pathways を使用する場合は、pathways-proxy コンテナに XLA フラグを設定します。

Cluster Toolkit(gcluster job submit コマンド)を使用する場合は、--pathways-proxy-args を使用して XLA フラグを設定します。

--pathways-proxy-args="--xla_flag_1=value1 --xla_flag_2=value2"

HLO ダンプ

XLA コンパイラに渡された High-Level Optimizer(HLO)入力を検査するには、--pathways-proxy-args を使用して HLO を Cloud Storage のロケーションにダンプするように Pathways を構成します。

--pathways-proxy-args="--xla_dump_to=gs://BUCKET_NAME/HLO_PREFIX/"

次のように置き換えます。

  • BUCKET_NAME: HLO ダンプ用の Cloud Storage バケット。
  • HLO_PREFIX: バケット内のパス接頭辞。

次のステップ