Mengelola pipeline

Pipeline BigQuery memungkinkan Anda memeriksa histori operasi, mengonfigurasi pemberitahuan kegagalan, dan mengontrol aset kode yang didukung oleh Dataform. Anda juga dapat memperkaya metadata alur kerja di Knowledge Catalog untuk melacak kualitas data dan menghapus alur kerja yang sudah tidak berlaku agar project Anda tetap teratur. Bergantung pada tempat tim Anda menyimpan kode, Anda dapat mengakses pipeline di Files and Folders, termasuk folder pengguna dan folder tim, atau di BigQuery Studio Git repositories (Git Folders) (Pratinjau).

Sebelum memulai

1. Membuat pipeline BigQuery.
2. Untuk mengelola metadata pipeline di Knowledge Catalog, pastikan Dataplex API diaktifkan di project Google Cloud Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengelola pipeline, minta administrator untuk memberi Anda peran IAM berikut:

• Untuk melihat dan menjalankan pipeline:
  • Dataform Viewer (roles/dataform.Viewer) di project
  • BigQuery Job User (roles/bigquery.jobUser) pada project
• Untuk menjalankan pipeline dengan kredensial pengguna untuk Akun Google: BigQuery Data Editor (roles/bigquery.dataEditor) di project atau set data BigQuery tertentu
• Untuk menghapus pipeline: Dataform Admin (roles/dataform.Admin) di pipeline
• Untuk mengelola pipeline di folder pengguna:
  • Pemilik Kode (roles/dataform.codeOwner) pada folder
  • Editor Kode (roles/dataform.codeEditor) pada folder
  • Code Viewer (roles/dataform.codeViewer) di folder
• Untuk mengelola pipeline di folder tim:
  • Pemilik Folder Tim (roles/dataform.teamFolderOwner) pada folder tim
  • Team Folder Contributor (roles/dataform.teamFolderContributor) di folder tim
  • Team Folder Viewer (roles/dataform.teamFolderViewer) di folder tim
• Untuk mengelola pipeline di repositori Git: Developer Connect OAuth User (roles/developerconnect.oauthUser) pada project
• Untuk melihat dan mengelola metadata di Knowledge Catalog: Dataplex Catalog Editor (roles/dataplex.catalogEditor) pada project atau grup entri @bigquery
• Untuk melihat silsilah data untuk pipeline: Data Lineage Viewer (roles/datalineage.viewer) pada project
• Untuk membuka pipeline dari grafik silsilah: Dataform Viewer (roles/dataform.viewer) pada project yang berisi pipeline

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM. Untuk mengetahui informasi selengkapnya tentang peran untuk folder, lihat Membuat dan mengelola folder. Untuk mengetahui informasi selengkapnya tentang peran untuk repositori Git, lihat Mengelola kode dengan repositori Git BigQuery Studio.

Jika Anda menggunakan akun layanan kustom untuk menjalankan pipeline, Anda harus memberikan peran berikut ke akun layanan tersebut:

• BigQuery Job User (roles/bigquery.jobUser) di project
• BigQuery Data Editor (roles/bigquery.dataEditor) di project atau set data BigQuery tertentu
• Dataplex Catalog Editor (roles/dataplex.catalogEditor) di project atau grup entri @bigquery
• Produsen Peristiwa Silsilah Data (roles/datalineage.producer) pada project yang berisi pipeline, untuk melaporkan silsilah data

Melihat pipeline

Anda dapat melihat dan memeriksa pipeline yang disimpan di folder atau folder Git di panel Files. Anda dapat melihat pipeline mandiri dan pipeline yang disimpan dalam folder di panel Explorer. Pipeline yang disimpan di folder Git tidak ditampilkan di panel Explorer.

Melihat pipeline di panel Files

Pipeline yang disimpan di folder atau di folder Git akan muncul langsung di panel Files.

Untuk melihat pipeline yang disimpan di folder atau folder Git, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik folder Files untuk membuka file browser.

   Jika Anda tidak melihat panel kiri, klik last_page Luaskan panel kiri untuk membuka panel.

3. Luaskan folder User, Team folder, atau folder repositori Git yang terhubung.

   Pipeline ditampilkan dengan ikon Pipeline, bukan ikon folder standar.

4. Klik folder pipeline untuk membuka Pipeline Viewer.

   Pipeline Viewer menampilkan Directed Acyclic Graph (DAG) yang dikompilasi dari tugas pipeline, status eksekusi, dan tab konfigurasi Anda.

5. Luaskan direktori pipeline di file browser untuk menjelajahi direktori bertingkat (seperti definitions/) dan file tugas individual.

Melihat pipeline di panel Explorer

Untuk melihat daftar pipeline mandiri dan pipeline yang disimpan dalam folder, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik explore Explorer:

   

   Jika Anda tidak melihat panel kiri, klik last_page Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda dan klik Pipelines.

4. Pilih pipeline untuk membukanya di Pipeline Viewer.

Melihat operasi manual sebelumnya

Untuk melihat operasi manual sebelumnya dari pipeline yang dipilih, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik explore Explorer:

   

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik Executions.

5. Opsional: Untuk memuat ulang daftar operasi sebelumnya, klik Refresh.

Mengonfigurasi pemberitahuan untuk operasi pipeline yang gagal

Setiap pipeline memiliki ID repositori Dataform yang sesuai. Setiap operasi pipeline BigQuery dicatat dalam Cloud Logging menggunakan ID repositori Dataform yang sesuai. Anda dapat menggunakan Cloud Monitoring untuk mengamati tren di log Cloud Logging untuk operasi pipeline BigQuery dan untuk memberi tahu Anda saat kondisi yang Anda deskripsikan terjadi.

Untuk menerima pemberitahuan saat operasi pipeline BigQuery gagal, Anda dapat membuat kebijakan pemberitahuan berbasis log untuk ID repositori Dataform yang sesuai. Untuk mengetahui petunjuknya, lihat Mengonfigurasi pemberitahuan untuk pemanggilan alur kerja yang gagal.

Untuk menemukan ID repositori Dataform pipeline Anda, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik explore Explorer:

   

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik Setelan.

   ID repositori Dataform pipeline Anda ditampilkan di bagian bawah tab Settings.

Menghapus pipeline

Untuk menghapus pipeline secara permanen, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery. Buka BigQuery

• Untuk menghapus pipeline yang disimpan di folder atau folder Git, lakukan hal berikut:

  1. Di panel kiri, klik folder Files.

  2. Di hierarki file, temukan folder pipeline yang ingin Anda hapus.

  3. Klik more_vert View actions di samping folder pipeline, lalu klik Delete.

  4. Pada dialog konfirmasi, klik Delete.

     Folder pipeline serta semua tugas dan file yang ada di dalamnya akan dihapus dari ruang kerja Anda.

• Untuk menghapus pipeline yang tercantum di panel Explorer, lakukan hal berikut:

  1. Di panel kiri, klik explore Explorer:

     

  2. Di panel Explorer, luaskan project Anda dan klik Pipelines.

  3. Temukan pipeline yang ingin Anda hapus.

  4. Klik more_vert View actions di samping pipeline, lalu klik Delete.

  5. Klik Hapus.

Mengelola metadata di Knowledge Catalog

Knowledge Catalog memungkinkan Anda menyimpan dan mengelola metadata untuk pipeline. Pipeline tersedia di Knowledge Catalog secara default, tanpa konfigurasi tambahan.

Anda dapat menggunakan Knowledge Catalog untuk mengelola pipeline di semua lokasi pipeline. Pengelolaan pipeline di Knowledge Catalog tunduk pada kuota dan batas Knowledge Catalog serta harga Knowledge Catalog.

Knowledge Catalog otomatis mengambil metadata berikut dari pipeline:

• Nama aset data
• Induk aset data
• Lokasi aset data
• Jenis aset data
• Project Google Cloud terkait

Knowledge Catalog mencatat pipeline sebagai entri dengan nilai entri berikut:

Grup entri sistem

Grup entri sistem untuk pipeline adalah @dataform. Untuk melihat detail entri pipeline di Knowledge Catalog, Anda perlu melihat grup entri sistem dataform. Untuk mengetahui petunjuk tentang cara melihat daftar semua entri dalam grup entri, lihat Melihat detail grup entri dalam dokumentasi Knowledge Catalog.

Jenis entri sistem

Jenis entri sistem untuk pipeline adalah dataform-code-asset. Untuk melihat detail pipeline,Anda perlu melihat jenis entri sistem dataform-code-asset, memfilter hasil dengan filter berbasis aspek, dan menetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Kemudian, pilih entri pipeline yang dipilih. Untuk mengetahui petunjuk tentang cara melihat detail jenis entri yang dipilih, lihat Melihat detail jenis entri dalam dokumentasi Knowledge Catalog. Untuk mengetahui petunjuk tentang cara melihat detail entri yang dipilih, lihat Melihat detail entri dalam dokumentasi Knowledge Catalog.

Jenis aspek sistem

Jenis aspek sistem untuk pipeline adalah dataform-code-asset. Untuk memberikan konteks tambahan ke pipeline di Knowledge Catalog dengan menganotasi entri pipeline data dengan aspek, lihat jenis aspek dataform-code-asset, filter hasilnya dengan filter berbasis aspek, dan tetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Untuk mengetahui petunjuk tentang cara menganotasi entri dengan aspek, lihat Mengelola aspek dan memperkaya metadata dalam dokumentasi Knowledge Catalog.

Jenis

Jenis untuk kanvas data adalah WORKFLOW. Jenis ini memungkinkan Anda memfilter pipeline dalam jenis entri sistem dataform-code-asset dan jenis aspek dataform-code-asset menggunakan kueri aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW dalam filter berbasis aspek.

Untuk mengetahui petunjuk tentang cara menelusuri aset di Knowledge Catalog, lihat Menelusuri aset data di Knowledge Catalog dalam dokumentasi Knowledge Catalog.

Pengayaan metadata dan integrasi kartu skor kualitas data

Dataform dapat memublikasikan metadata berikut ke Knowledge Catalog:

• Jenis aspek ringkasan
• Jenis aspek generik
• Jenis aspek kartu skor kualitas data

Pernyataan Dataform otomatis diintegrasikan dengan kartu skor kualitas data Knowledge Catalog. Selama eksekusi pipeline, hasil pernyataan Dataform apa pun akan otomatis dipublikasikan ke Knowledge Catalog. Hasil ini mengisi kartu skor kualitas data Knowledge Catalog dengan status lulus atau gagal.

Untuk memeriksa status update metadata, ikuti petunjuk di Melihat operasi manual sebelumnya.

Setelah metadata disinkronkan, Anda dapat menelusuri dan melihat entri di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource.

Melacak silsilah data

BigQuery melaporkan silsilah data tingkat tabel ke Knowledge Catalog untuk tindakan yang berjalan di pipeline BigQuery Anda. Untuk setiap tindakan yang dijalankan, grafik silsilah di BigQuery dan Knowledge Catalog menampilkan proses antara tabel yang dibaca oleh tindakan dan tabel yang ditulisnya. Anda tidak perlu mengubah file SQLX untuk melaporkan silsilah.

Tabel, tampilan, tabel inkremental, tampilan terwujud, pernyataan, grafik properti, persiapan data, dan operasi dengan hasOutput: true melaporkan silsilah tabel ke tabel. Operasi tanpa hasOutput: true hanya melaporkan proses dan eksekusi. Deklarasi, notebook, dan pengujian unit SQL tidak melaporkan silsilah. Deklarasi hanya muncul sebagai input untuk tindakan lain.

Pelaporan silsilah tidak pernah menyebabkan kegagalan operasi pipeline. Jika Data Lineage API dinonaktifkan, izin tidak ada, atau kuota terlampaui, operasi pipeline akan berlanjut tanpa melaporkan silsilah.

Penyerapan silsilah data ditagih berdasarkan SKU Pemrosesan Premium Knowledge Catalog, dan hanya peristiwa yang menulis link silsilah tabel ke tabel yang ditagih. Penyimpanan silsilah data ditagih berdasarkan SKU penyimpanan metadata. Untuk mengetahui informasi selengkapnya, lihat Harga Knowledge Catalog.

Batasan silsilah data

Silsilah data untuk pipeline tunduk pada batasan berikut:

• Hanya silsilah tingkat tabel yang dilaporkan. Silsilah tingkat kolom tidak dilaporkan.

• Pelaporan silsilah data tunduk pada kuota Data Lineage API untuk penulisan per project, identitas, dan region.

Mengaktifkan silsilah data

Untuk mengaktifkan silsilah data untuk pipeline Anda, ikuti langkah-langkah berikut:

1. Aktifkan Data Lineage API (datalineage.googleapis.com) di project yang berisi pipeline dan di project tempat pengguna melihat silsilah.

2. Dalam project yang berisi pipeline, berikan peran Data Lineage Events Producer (roles/datalineage.producer) ke identitas yang menjalankan pipeline. Identitas ini adalah akun layanan kustom pipeline, atau agen layanan Dataform (service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com) jika tidak ada akun layanan kustom yang ditetapkan.

3. Dalam file workflow_settings.yaml pipeline Anda, tambahkan blok lineage berikut:

   lineage:
     enabled: true
   

Pipeline yang dijalankan menggunakan kredensial pengguna akhir untuk Akun Google tidak melaporkan silsilah. Untuk melaporkan silsilah, jalankan pipeline dengan akun layanan kustom.

Untuk menghentikan pelaporan silsilah data untuk pipeline, tetapkan enabled ke false di blok lineage. Untuk menghentikan pelaporan silsilah data untuk seluruh project, nonaktifkan Data Lineage API dalam project. Menonaktifkan API juga akan menghentikan pelaporan silsilah data dari layanan lain dalam project.

Melihat silsilah data

Untuk melihat silsilah data untuk tabel yang dihasilkan oleh tindakan pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka BigQuery Studio.

   Buka BigQuery Studio

2. Di panel Explorer, luaskan project dan set data Anda, lalu pilih tabel yang dihasilkan oleh tindakan pipeline.

3. Klik tab Silsilah.

4. Untuk melihat tindakan, pipeline, dan operasi, pilih node proses.

5. Untuk membuka pipeline, klik Open in Dataform.

Untuk mengetahui informasi selengkapnya tentang cara menjelajahi grafik silsilah, lihat Melihat silsilah data di Knowledge Catalog.

Memecahkan masalah silsilah data

Tabel berikut menjelaskan masalah silsilah data umum untuk pipeline dan cara memperbaikinya:

Setelah error izin atau API pertama dalam operasi pipeline, BigQuery akan berhenti melaporkan silsilah untuk sisa operasi tersebut. Operasi pipeline berikutnya akan mencoba melaporkan silsilah lagi.

Untuk memeriksa apakah operasi pipeline melaporkan silsilah, lihat entri log dataform.googleapis.com/lineage_emission di Cloud Logging. Untuk memfilter pelaporan silsilah yang dilewati atau gagal di Logs Explorer, jalankan kueri berikut:

log_id("dataform.googleapis.com/lineage_emission")
jsonPayload.outcome=("SKIPPED" OR "FAILED")

Langkah berikutnya

• Pelajari lebih lanjut pipeline BigQuery.
• Pelajari cara membuat pipeline.
• Pelajari cara menjadwalkan pipeline.
• Pelajari cara mengelola kode dengan repositori Git BigQuery Studio.
• Pelajari cara mengatur aset kode dengan folder.
• Pelajari lebih lanjut Deployment Dataform.