Sistem petak untuk analisis spasial

Sistem petak geospasial, seperti S2 dan H3, memungkinkan Anda mengatur data spasial ke dalam area geografis standar untuk analisis. Memilih sistem petak multi-resolusi yang tepat memungkinkan Anda menggabungkan data dengan andal, membandingkan area yang dilokalkan, dan melacak perubahan dari waktu ke waktu tanpa mengandalkan batas administratif yang tidak konsisten.

Ringkasan dan tantangan penggunaan analisis spasial

Analisis spasial membantu menunjukkan hubungan antara entity (toko atau rumah) dan peristiwa di ruang fisik. Analisis spasial yang menggunakan permukaan bumi sebagai ruang fisik disebut analisis geospasial. BigQuery menyertakan fitur dan fungsi geospasial yang memungkinkan Anda melakukan analisis geospasial dalam skala besar.

Banyak kasus penggunaan geospasial melibatkan penggabungan data dalam area yang dilokalkan, dan membandingkan agregasi statistik area tersebut satu sama lain. Area yang dilokalkan ini direpresentasikan sebagai poligon dalam tabel database spasial. Dalam beberapa konteks, metode ini disebut geografi statistik. Metode penentuan luas area geografis perlu distandarkan untuk pelaporan, analisis, dan pengindeksan spasial yang lebih baik. Misalnya, retailer mungkin ingin menganalisis perubahan demografi dari waktu ke waktu di area tempat toko mereka berada, atau di area tempat mereka mempertimbangkan untuk membangun toko baru. Atau, perusahaan asuransi mungkin ingin meningkatkan pemahaman mereka tentang risiko properti dengan menganalisis risiko bencana alam yang umum terjadi di area tertentu.

Karena peraturan privasi data yang ketat di banyak area, set data yang berisi informasi lokasi harus dide-identifikasi atau dianonimkan sebagian untuk membantu melindungi privasi individu yang diwakili dalam data. Misalnya, Anda mungkin perlu melakukan analisis risiko konsentrasi kredit geografis pada set data yang berisi data tentang pinjaman hipotek yang belum lunas. Untuk melakukan de-identifikasi set data agar sesuai untuk analisis yang mematuhi peraturan, Anda perlu mempertahankan informasi yang relevan tentang lokasi properti, tetapi hindari penggunaan alamat tertentu atau koordinat bujur dan lintang.

Dalam contoh sebelumnya, perancang analisis ini dihadapkan pada tantangan berikut:

  • Bagaimana cara menggambar batas area tempat Anda menganalisis perubahan dari waktu ke waktu?
  • Bagaimana cara menggunakan batas administratif yang ada seperti wilayah sensus atau sistem petak multi-resolusi?

Dokumen ini bertujuan untuk menjawab pertanyaan tersebut dengan menjelaskan setiap opsi, menjelaskan praktik terbaik, dan membantu Anda menghindari kesalahan umum.

Kesalahan umum saat memilih area statistik

Set data bisnis seperti penjualan properti, kampanye marketing, pengiriman e-commerce, dan polis asuransi cocok untuk analisis spasial. Sering kali set data ini berisi kunci gabungan spasial yang tampak praktis, seperti wilayah sensus, kode pos, atau nama kota. Set data publik yang berisi representasi wilayah sensus, kode pos, dan kota sudah tersedia, sehingga menarik untuk digunakan sebagai batas administratif untuk agregasi statistik.

Meskipun secara nominal praktis, batas administratif ini dan batas administratif lainnya memiliki kekurangan. Selain itu, batasan ini mungkin berfungsi dengan baik pada tahap awal project analisis, tetapi kekurangannya dapat terlihat pada tahap selanjutnya.

Kode pos

Kode pos digunakan untuk mengarahkan surat di berbagai negara di seluruh dunia, dan karena keberadaannya yang luas, kode pos sering digunakan untuk mereferensikan lokasi dan area dalam set data spasial dan non-spasial. Mengacu pada contoh sebelumnya tentang pinjaman hipotek, set data sering kali perlu dide-identifikasi sebelum analisis downstream dapat dilakukan. Karena setiap alamat properti berisi kode pos, tabel referensi kode pos dapat diakses, sehingga menjadi opsi yang praktis untuk kunci gabungan dalam analisis spasial.

Kelemahan penggunaan kode pos adalah kode pos tidak direpresentasikan sebagai poligon, dan tidak ada satu sumber kebenaran yang benar untuk area kode pos. Selain itu, kode pos bukan representasi yang baik dari perilaku manusia yang sebenarnya. Data kode pos yang paling umum digunakan di AS berasal dari TIGER/Line Shapefiles dari Biro Sensus AS, yang berisi set data yang disebut ZCTA5 (Zip Code Tabulation Area). Set data ini menunjukkan perkiraan batas kode pos yang diperoleh dari rute pengiriman surat. Namun, beberapa kode pos yang mewakili bangunan individual tidak memiliki batas sama sekali. Masalah ini juga terjadi di negara lain, sehingga sulit untuk membentuk satu tabel fakta global yang berisi kumpulan batas kode pos yang kredibel dan dapat digunakan di berbagai sistem dan set data.

Selain itu, tidak ada format kode pos standar yang digunakan di seluruh dunia. Beberapa di antaranya berupa angka, mulai dari tiga hingga sepuluh digit, sementara beberapa lainnya berupa alfanumerik. Ada juga tumpang-tindih antarnegara, sehingga perlu menyimpan negara asal di kolom terpisah bersama dengan kode pos. Beberapa negara tidak menggunakan kode pos, sehingga analisis menjadi lebih rumit.

Wilayah sensus, kota, dan county

Ada beberapa unit administratif, seperti wilayah sensus, kota, dan county yang tidak mengalami masalah terkait tidak adanya batas resmi. Misalnya, batas kota dalam banyak kasus ditetapkan dengan baik oleh otoritas pemerintah. Wilayah sensus didefinisikan dengan baik oleh US Census Bureau, dan oleh lembaga serupa di sebagian besar negara lain.

Kelemahan penggunaan batas administratif ini dan batas administratif lainnya adalah batas tersebut berubah seiring waktu, dan tidak konsisten secara geografis satu sama lain. County dan kota bergabung atau terpisah satu sama lain dan terkadang diganti namanya. Wilayah sensus diperbarui setiap sepuluh tahun sekali di AS, dan pada waktu yang berbeda di negara lain. Dalam beberapa kasus, batas geografis dapat berubah, tetapi ID uniknya tetap sama, sehingga sulit untuk menganalisis dan memahami perubahan dari waktu ke waktu.

Kelemahan lain yang umum terjadi pada beberapa batas administratif adalah bahwa batas tersebut merupakan area terpisah tanpa hierarki geografis. Selain membandingkan masing-masing area satu sama lain, persyaratan umum adalah membandingkan agregasi area itu sendiri dengan agregasi lainnya. Misalnya, retailer yang menerapkan model Huff mungkin ingin menjalankan analisis ini menggunakan beberapa jarak, yang mungkin tidak sesuai dengan wilayah administratif yang digunakan di tempat lain dalam bisnis.

Petak resolusi tunggal dan multi-resolusi

Petak resolusi tunggal terdiri dari unit diskret yang tidak memiliki hubungan geografis dengan area yang lebih besar yang berisi unit tersebut. Misalnya, kode pos memiliki hubungan geografis yang tidak konsisten dengan batas unit administratif yang lebih besar, seperti kota atau county yang mungkin berisi kode pos. Untuk analisis spasial, penting untuk memahami bagaimana area yang berbeda saling terkait satu sama lain tanpa pengetahuan mendalam tentang sejarah dan legislasi yang menentukan poligon area.

Petak multi-resolusi terkadang disebut petak hierarkis karena sel di setiap tingkat zoom dibagi lagi menjadi sel yang lebih kecil pada tingkat zoom yang lebih tinggi. Petak multi-resolusi terdiri dari hierarki unit yang ditentukan dengan baik yang terkandung dalam unit yang lebih besar. Misalnya, wilayah sensus berisi grup blok, yang pada gilirannya berisi blok. Hubungan hierarkis yang konsisten ini dapat berguna untuk agregasi statistik. Misalnya, dengan mengambil rata-rata pendapatan dari semua kelompok blok yang terdapat dalam suatu wilayah, Anda dapat menampilkan pendapatan rata-rata untuk wilayah sensus yang berisi kelompok blok tersebut. Hal ini tidak akan mungkin dilakukan dengan kode pos karena semua area pos berada pada satu resolusi. Akan sulit untuk membandingkan pendapatan suatu wilayah dengan wilayah di sekitarnya karena tidak ada cara standar untuk menentukan kedekatan, atau membandingkan pendapatan di berbagai negara.

Sistem petak S2 dan H3

Bagian ini memberikan ringkasan sistem petak S2 dan H3.

S2

Geometri S2 adalah sistem petak hierarkis open source yang dikembangkan oleh Google dan dirilis ke publik pada tahun 2011. Anda dapat menggunakan sistem petak S2 untuk mengatur dan mengindeks data spasial dengan menetapkan bilangan bulat 64-bit yang unik ke setiap sel. Ada 31 tingkat resolusi. Setiap sel direpresentasikan sebagai persegi dan dirancang untuk operasi pada geometri bola (terkadang disebut geografis). Setiap kotak dibagi lagi menjadi empat kotak yang lebih kecil. Penjelajahan tetangga, yaitu kemampuan untuk mengidentifikasi sel S2 yang berdekatan, kurang terdefinisi dengan baik karena persegi dapat memiliki empat atau delapan tetangga yang relevan, bergantung pada jenis analisisnya. Berikut adalah contoh sel petak S2 multi-resolusi:

Contoh sel petak S2.

BigQuery menggunakan sel S2 untuk mengindeks data spasial dan mengekspos beberapa fungsi. Misalnya, S2_CELLIDFROMPOINT menampilkan ID sel S2 yang berisi titik di permukaan bumi pada tingkat tertentu.

H3

H3 adalah sistem petak hierarkis open source yang dikembangkan oleh Uber dan digunakan oleh Overture Maps. Ada 16 tingkat resolusi. Setiap sel direpresentasikan sebagai segi enam, dan seperti S2, setiap sel diberi bilangan bulat 64-bit yang unik. Dalam contoh tentang visualisasi sel H3 yang mencakup Teluk Meksiko, sel H3 yang lebih kecil tidak sepenuhnya dimuat oleh sel yang lebih besar.

Setiap sel dibagi lagi menjadi tujuh segi enam yang lebih kecil. Subdivisinya tidak tepat, tetapi memadai untuk banyak kasus penggunaan. Setiap sel berbagi tepi dengan enam sel tetangga, sehingga menyederhanakan penjelajahan tetangga. Misalnya, di setiap level, ada 12 segi lima, yang berbagi tepi dengan lima tetangga, bukan enam. Meskipun H3 tidak didukung di BigQuery, Anda dapat menambahkan dukungan H3 ke BigQuery menggunakan Carto Analytics Toolbox untuk BigQuery.

Meskipun library S2 dan H3 bersifat open source dan tersedia di bawah lisensi Apache 2, library H3 memiliki dokumentasi yang lebih mendetail.

HEALPix

Skema tambahan untuk membuat petak bola, yang umum digunakan di bidang astronomi, dikenal sebagai Hierarchical Equal Area isoLatitude Pixelation (HEALPix). HEALPix tidak bergantung pada kedalaman piksel hierarkis, tetapi waktu komputasi tetap konstan.

HEALPix adalah skema pikselasi area yang sama dan hierarkis untuk bola. Fungsi ini digunakan untuk merepresentasikan dan menganalisis data pada bola langit (atau bola lainnya). Selain waktu komputasi yang konstan, petak HEALPix memiliki karakteristik berikut:

  • Sel petak bersifat hierarkis, dengan hubungan induk-turunan yang dipertahankan.
  • Pada hierarki tertentu, sel memiliki area yang sama.
  • Sel-sel tersebut mengikuti distribusi iso-latitude, sehingga memungkinkan performa yang lebih tinggi untuk metode spektral.

BigQuery tidak mendukung HEALPix, tetapi ada banyak implementasi di berbagai bahasa, termasuk JavaScript, yang membuatnya mudah digunakan dalam fungsi yang ditentukan pengguna (UDF) BigQuery.

Contoh kasus penggunaan untuk setiap strategi pengindeksan

Bagian ini memberikan beberapa contoh yang membantu Anda mengevaluasi sistem petak mana yang terbaik untuk kasus penggunaan Anda.

Banyak kasus penggunaan analisis dan pelaporan melibatkan visualisasi, baik sebagai bagian dari analisis itu sendiri atau untuk pelaporan kepada pemangku kepentingan bisnis. Visualisasi ini biasanya ditampilkan dalam Web Mercator, yang merupakan proyeksi planar yang digunakan oleh Google Maps dan banyak aplikasi pemetaan web lainnya. Dalam kasus di mana visualisasi memainkan peran penting, sel H3 memberikan pengalaman visualisasi yang secara subjektif lebih baik. Sel S2, terutama di garis lintang yang lebih tinggi, cenderung tampak lebih terdistorsi daripada H3, dan tidak tampak konsisten dengan sel di garis lintang yang lebih rendah saat ditampilkan dalam proyeksi planar.

Sel H3 menyederhanakan penerapan saat perbandingan tetangga memainkan peran penting dalam analisis. Misalnya, analisis komparatif antara bagian-bagian kota dapat membantu memutuskan lokasi mana yang cocok untuk membuka toko retail atau pusat distribusi baru. Analisis ini memerlukan penghitungan statistik untuk atribut sel tertentu yang dibandingkan dengan sel di sekitarnya.

Sel S2 dapat berfungsi lebih baik dalam analisis yang bersifat global, seperti analisis yang melibatkan pengukuran jarak dan sudut. Pokemon Go dari Niantic menggunakan sel S2 untuk menentukan tempat aset game ditempatkan dan cara distribusinya. Properti subdivisi yang tepat dari sel S2 memastikan bahwa aset game dapat didistribusikan secara merata di seluruh dunia.

Langkah berikutnya