このドキュメントでは、Delta Lake テーブルを使用するように Lakehouse ランタイム カタログで Apache Spark を構成する方法について説明します。Apache Hive カタログを作成し、metastore に接続するように Spark セッションを構成して、BigQuery でクエリする Delta テーブルを作成して登録するワークロードを実行する方法を学習します。
始める前に
- Hive カタログ エンドポイントについてを読む。
- サポートされているストレージ形式とデータ型を確認する。
- 制限事項と考慮事項を確認します。
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Managed Service for Apache Spark APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
必要なロール
Delta テーブルで Lakehouse ランタイム カタログを使用するために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。
-
Managed Service for Apache Spark クラスタを作成する: Dataproc 編集者 (
roles/dataproc.editor) -
クラスタ サービス アカウント:
- Dataproc ワーカー (
roles/dataproc.worker) - Storage オブジェクト ユーザー (
roles/storage.objectUser) - BigLake 編集者 (
roles/biglake.editor) - Service Usage コンシューマー (
roles/serviceusage.serviceUsageConsumer)
- Dataproc ワーカー (
-
すべての Lakehouse ランタイム カタログ リソースへの書き込みアクセス権: BigLake 編集者 (
roles/biglake.editor) -
すべての Lakehouse ランタイム カタログ リソースへの読み取り専用アクセス権: BigLake 閲覧者 (
roles/biglake.viewer)
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
手順については、単一ロールの付与をご覧ください。
全般的なワークフロー
Delta テーブルで Lakehouse ランタイム カタログを使用するには、次のワークフローに沿って操作します。
- Lakehouse Hive カタログを作成する。
- Lakehouse ランタイム カタログ クライアントと Delta Lake の依存関係を使用して Spark セッションを構成します。
- Spark を使用して Cloud Storage に Delta テーブルを作成してデータを入力し、metastore に登録します。
- Apache Spark(読み取りと書き込み)または BigQuery(読み取り専用)から直接 Delta テーブルをクエリします。
Lakehouse Hive カタログを作成する
Spark テーブルと Delta テーブルで Lakehouse ランタイム カタログを使用するには、Hive カタログを作成します。
Lakehouse Hive カタログは、Hive データベースのコレクションです。Spark ジョブを実行する前に、カタログを作成して Lakehouse ランタイム カタログに登録します。カタログには、データの名前と Cloud Storage のロケーションが必要です。
コンソール
Google Cloud コンソールで、[Lakehouse] ページを開きます。
[カタログを作成] をクリックします。
[Lakehouse ランタイム カタログ] を選択します。
[カタログタイプ] で [Hive Metastore] を選択します。
[Cloud Storage バケットを選択] フィールドに、カタログの Cloud Storage バケット名を入力します。または、[参照] をクリックしてバケットを選択または作成します。
[カタログ ID] に、Lakehouse Hive カタログの名前を入力します。
[プライマリ ロケーション] には、バケットと同じリージョンを指定します。
[作成] をクリックします。
gcloud
Hive カタログを作成するには、次のコマンドを実行します。
gcloud biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
--project=PROJECT_ID \
--location-uri="gs://GCS_WAREHOUSE_PATH" \
--primary-location=REGION \
--description="DESCRIPTION"
次のように置き換えます。
LAKEHOUSE_CATALOG_ID: Hive カタログ名。GCS_WAREHOUSE_PATH: ウェアハウス データの Cloud Storage パス。PROJECT_ID: 実際の Google Cloudプロジェクト ID。REGION: metastore のプライマリ リージョン。シングルリージョン バケットの場合、これはバケット リージョンと一致します。デュアルリージョン バケットまたはマルチリージョン バケットの場合は、プライマリ レプリカの構成リージョンを指定します。もう一方のリージョンがセカンダリ レプリカになります。DESCRIPTION: カタログの説明。
Delta テーブルを使用するように Spark を構成する
Delta テーブルで Lakehouse ランタイム カタログを使用するには、Lakehouse ランタイム カタログ クライアント ファクトリと Delta Lake 拡張機能を使用して Spark セッションを構成します。
spark-sql
- SSH を使用して Managed Service for Apache Spark クラスタのプライマリ ノードに接続します。
次のプロパティを指定してコマンドラインで
spark-sqlを実行し、インタラクティブな Spark SQL セッションを開始します。spark-sql \ --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension \ --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog \ --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \ --conf spark.hive.metastore.blms.project.id=PROJECT_ID \ --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \ --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATHセッションが開始されると、Spark は Lakehouse ランタイム カタログに接続します。
次のコマンドを実行して、Delta リソースを作成してクエリします。
-- Show all the databases in the current project. SHOW DATABASES; -- Create a database. CREATE DATABASE spark_delta_blms_database; -- Create a Delta data source table. CREATE TABLE spark_delta_blms_database.delta_quick_start (id INT, name STRING) USING DELTA; -- Insert data into the table. INSERT INTO TABLE spark_delta_blms_database.delta_quick_start VALUES (1, 'my-first-user'); -- Query the Delta table. SELECT * FROM spark_delta_blms_database.delta_quick_start;次のように置き換えます。
PROJECT_ID: 実際の Google Cloud プロジェクト ID。LAKEHOUSE_CATALOG_ID: Hive カタログ名。GCS_WAREHOUSE_PATH: ウェアハウス データを保存する Cloud Storage パス。
Jupyter ノートブック
- Managed Service for Apache Spark クラスタで Jupyter ノートブックを実行する。
- Google Cloud コンソールのクラスタの詳細ページの [ウェブ インターフェース] タブから Jupyter ウェブ インターフェースにアクセスします。
新しいノートブックで、Delta Lake 用に構成された Spark セッションを作成し、クエリを実行します。
from pyspark.sql import SparkSession # If a Spark session exists, stop it first by running spark.stop() spark = SparkSession.builder\ .master("local")\ .appName("Lakehouse runtime catalog Delta tutorial")\ .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")\ .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")\ .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\ .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\ .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\ .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\ .getOrCreate() # Show all the databases. df = spark.sql("SHOW DATABASES;") df.show() # Create a database. spark.sql("CREATE DATABASE jupyter_delta_blms_db") # Create a Delta data source table. spark.sql("CREATE TABLE jupyter_delta_blms_db.delta_table(id INT, name STRING) USING DELTA") # Insert data into the table. spark.sql("INSERT INTO TABLE jupyter_delta_blms_db.delta_table VALUES (1, 'my-first-user');") # Query from table. spark.sql("SELECT * FROM jupyter_delta_blms_db.delta_table;").show()次のように置き換えます。
PROJECT_ID: 実際の Google Cloud プロジェクト ID。GCS_WAREHOUSE_PATH: ウェアハウス データを保存する Cloud Storage パス。LAKEHOUSE_CATALOG_ID: Hive カタログ名。
BigQuery ノートブック
Google Cloud コンソールで、[BigQuery] に移動します。
[エクスプローラ] ペインで、[+ 追加] をクリックし、[Python ノートブック] をクリックします。
コードセルで、Delta 拡張機能と Lakehouse ランタイム カタログ プロパティを使用して Managed Service for Apache Spark セッションを構成します。
from google.cloud.dataproc_spark_connect import DataprocSparkSession from google.cloud.dataproc_v1 import Session import os os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = "" session = Session() session.environment_config.execution_config.ttl = {"seconds": 864000} session.runtime_config.version = "2.3" session.runtime_config.properties = { "spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension", "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.delta.catalog.DeltaCatalog", "spark.hive.metastore.blms.project.id": "PROJECT_ID", "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID", "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH", "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory", "spark.sql.catalogImplementation": "hive" } spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate() print("Spark session created successfully")別のコードセルで、データベースと Delta テーブルを作成します。
# Create a database spark.sql("CREATE DATABASE bq_spark_delta_database;") # Create a Delta data source table spark.sql("CREATE TABLE bq_spark_delta_database.delta_quick_start (id INT, name STRING) USING DELTA;") # Insert data into the table spark.sql("INSERT INTO TABLE bq_spark_delta_database.delta_quick_start VALUES (1, 'my-first-user');") # Query from table spark.sql("SELECT * FROM bq_spark_delta_database.delta_quick_start;").show()次のように置き換えます。
PROJECT_ID: 実際の Google Cloud プロジェクト ID。GCS_WAREHOUSE_PATH: ウェアハウス データを保存する Cloud Storage パス。LAKEHOUSE_CATALOG_ID: Hive カタログ名。
Managed Service for Apache Spark バッチジョブを送信する
PySpark バッチ ワークロードを Managed Service for Apache Spark に送信して、Lakehouse ランタイム カタログで Delta テーブルを作成してクエリを実行できます。
PySpark ジョブを含む Python ファイルを作成します。
from pyspark.sql import SparkSession spark = ( SparkSession.builder.appName("Lakehouse runtime catalog Delta tutorial") .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") .config( "spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory", ) .config("spark.hive.metastore.blms.project.id", "PROJECT_ID") .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID") .config( "spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH", ) .enableHiveSupport() .getOrCreate() ) # Show all the databases. spark.sql("SHOW DATABASES;").show() # Create a database. spark.sql("CREATE DATABASE dp_serverless_delta_db") # Create a Delta data source table. spark.sql( "CREATE TABLE dp_serverless_delta_db.delta_table(id INT, name STRING) USING DELTA" ) # Insert data into the table. spark.sql("INSERT INTO TABLE dp_serverless_delta_db.delta_table VALUES (1, 'my-first-user');") # Query from table. spark.sql("SELECT * FROM dp_serverless_delta_db.delta_table;").show()次のように置き換えます。
PROJECT_ID: 実際の Google Cloud プロジェクト ID。LAKEHOUSE_CATALOG_ID: Hive カタログ名。GCS_WAREHOUSE_PATH: ウェアハウス データを保存する Cloud Storage パス。
バッチジョブを送信します。
gcloud dataproc batches submit pyspark PYTHON_SCRIPT_FILE \ --version=2.2 \ --project=PROJECT_ID \ --region=REGION \ --deps-bucket=gs://CLOUD_STORAGE_BUCKET次のように置き換えます。
PYTHON_SCRIPT_FILE: PySpark アプリケーション ファイルのローカルパスまたは Cloud Storage パス。PROJECT_ID: プロジェクト ID。REGION: バッチジョブを実行するリージョン。CLOUD_STORAGE_BUCKET: ワークロードの依存関係をステージングするための Cloud Storage バケット。
BigQuery から Delta テーブルに対してクエリを実行する
Lakehouse ランタイム カタログの Spark から Delta テーブルを作成したら、BigQuery Studio からクエリを実行できます。
BigQuery から Hive カタログ エンドポイントの Delta テーブルに対して実行されるクエリは読み取り専用です。
Google Cloud コンソールで、[BigQuery] に移動します。
クエリエディタで次のステートメントを入力します。
SELECT * FROM `PROJECT_ID.LAKEHOUSE_CATALOG_ID.DATABASE_NAME.TABLE_NAME`;次のように置き換えます。
PROJECT_ID: プロジェクト ID。LAKEHOUSE_CATALOG_ID: Hive カタログ名。DATABASE_NAME: データベース名。TABLE_NAME: Delta テーブル名。
制限事項
Lakehouse ランタイム カタログの Hive カタログ エンドポイントで Delta テーブルを使用する場合は、次の制限が適用されます。
- BigQuery の読み取り専用クエリ: BigQuery からの Delta テーブルに対するクエリは読み取り専用です。Apache Spark を使用して、データの変更、DML オペレーション、スキーマの変更を実行します。
GetHiveTableのプレースホルダ スキーマと実際のスキーマ検査:GetHiveTableは、Delta テーブルの呼び出しに対して、実際のテーブル スキーマではなくプレースホルダ スキーマを返します。Delta テーブルの実際のスキーマを検査するには、Apache Spark を使用します。BigQuery は、Dremel クエリの実行に適した変更されたスキーマを計算します。これは、実際の Delta テーブル スキーマと 1 対 1 で一致するものではありません。- Hive クライアントの非互換性: Hive クライアント(Hive CLI など)は、Lakehouse ランタイム カタログの Hive エンドポイントで Delta テーブルをサポートしていません。Apache Spark を使用して Delta テーブルを管理し、Spark または BigQuery を使用してクエリを実行します。
- カタログ管理オペレーションがサポートされていない: Delta テーブルでは、カタログ管理モードはサポートされていません。スタンドアロン metastore DDL を使用して Delta テーブルを作成することはできません。代わりに、Cloud Storage に外部ストレージ ロケーションを持つ Delta テーブルを作成し(Apache Spark を使用するなど)、カタログに登録します。
- BigQuery 外部 Delta テーブルの制限事項: Lakehouse ランタイム カタログの Hive エンドポイントは、BigQuery 外部 Delta Lake テーブルと同じ基盤となるクエリエンジン実装を使用します。外部 Delta Lake テーブルの制限事項と BigLake テーブルの制限事項がすべて適用されます。たとえば、変更データ キャプチャ(CDC)オペレーションと BigQuery Storage Read API はサポートされていません。また、
timestamp_ntzはサポートされていません。