Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon RDS Integrasi Zero-ETL
Sebuah Amazon RDS Integrasi Zero-ETL dengan Amazon Redshift dan Amazon SageMaker AI memungkinkan analitik hampir real-time dan pembelajaran mesin (ML) menggunakan data dari RDS. Ini adalah solusi yang dikelola sepenuhnya untuk membuat data transaksional tersedia di tujuan analitik Anda setelah ditulis ke Database RDS. Ekstrak, ubah, dan memuat (ETL) adalah proses menggabungkan data dari berbagai sumber ke dalam gudang data pusat yang besar.
Integrasi Zero-ETL membuat data di Database RDS tersedia di Amazon Redshift atau Amazon SageMaker AI rumah danau hampir real-time. Setelah data tersebut berada di gudang data target atau danau data, Anda dapat memperkuat beban kerja analitik, ML, dan AI menggunakan kemampuan bawaan, seperti pembelajaran mesin, tampilan terwujud, berbagi data, akses federasi ke beberapa penyimpanan data dan danau data, dan integrasi dengan Amazon SageMaker AI, Cepat, dan lainnya Layanan AWS.
Untuk membuat integrasi Zero-ETL, Anda menentukan Database RDS sebagai sumber, dan gudang data atau danau yang didukung sebagai target. Integrasi mereplikasi data dari database sumber ke gudang data target atau rumah danau.
Diagram berikut menggambarkan fungsi ini untuk integrasi Zero-ETL dengan Amazon Redshift:
Diagram berikut menggambarkan fungsi ini untuk integrasi Zero-ETL dengan Amazon SageMaker AI rumah danau:
Integrasi memantau kondisi pipeline data dan memulihkan dari masalah jika memungkinkan. Anda dapat membuat integrasi dari beberapa Database RDS ke dalam gudang data target tunggal atau rumah danau yang memungkinkan Anda memperoleh wawasan di berbagai aplikasi.
Manfaat
RDS Integrasi zero-ETL memiliki manfaat sebagai berikut:
-
Membantu Anda memperoleh wawasan menyeluruh dari berbagai sumber data.
-
Hilangkan kebutuhan untuk membangun dan memelihara pipeline data kompleks yang melakukan operasi ekstrak, transformasi, dan muat (ETL). Zero-ETL integrasi menghilangkan tantangan yang datang dengan membangun dan mengelola pipeline dengan menyediakan dan mengelolanya untuk Anda.
-
Mengurangi beban dan biaya operasional, serta membantu Anda fokus pada peningkatan aplikasi Anda.
-
Memungkinkan Anda memanfaatkan analitik tujuan target dan kemampuan ML untuk memperoleh wawasan dari data transaksional dan data lainnya, untuk merespons secara efektif peristiwa kritis dan sensitif waktu.
Konsep Utama
Saat mulai menggunakan integrasi nol-ETL, pertimbangkan konsep berikut ini:
- Integrasi
-
Pipeline data yang dikelola sepenuhnya yang secara otomatis mereplikasi data transaksional dan skema dari Database RDS ke gudang data atau katalog.
- Sumber basis data
-
Database RDS dari mana data direplikasi. Anda dapat menentukan Single-AZ atau Multi-AZ Instans DB, atau Multi-AZ Cluster DB (hanya untuk RDS untuk MySQL).
- Target
-
Gudang data atau rumah danau tempat data direplikasi. Ada dua jenis gudang data: gudang data klaster terprovisi dan gudang data nirserver. Gudang data klaster terprovisi adalah kumpulan sumber daya komputasi yang disebut simpul, yang diatur ke dalam grup yang disebut klaster. Gudang data nirserver terdiri dari grup kerja yang menyimpan sumber daya komputasi, serta ruang nama yang menampung objek basis data dan pengguna. Kedua gudang data menjalankan mesin analitik dan berisi satu atau lebih database.
Rumah danau target terdiri dari katalog, database, tabel, dan tampilan. Untuk informasi lebih lanjut tentang arsitektur rumah danau, lihat SageMaker Lakehouse components di Amazon SageMaker AI Unified Studio Panduan Pengguna.
Beberapa sumber basis data dapat menulis ke target yang sama.
Untuk informasi selengkapnya, lihat Arsitektur sistem gudang data dalam Panduan Developer Amazon Redshift.
Batasan
Batasan berikut berlaku untuk RDS Integrasi nol ETL.
Topik
Batasan umum
-
Sumbernya basis data harus berada di wilayah yang sama dengan target.
-
Anda tidak dapat mengganti nama basis data jika sudah ada integrasi.
-
Anda tidak dapat membuat beberapa integrasi antara sumber dan basis data target yang sama.
-
Anda tidak dapat menghapus basis data yang memiliki integrasi yang sudah ada. Anda harus menghapus semua integrasi yang terkait terlebih dahulu.
-
Jika Anda menghentikan sumbernya basis data, beberapa transaksi terakhir mungkin tidak direplikasi ke target sampai Anda melanjutkan basis data.
-
Anda tidak dapat menghapus integrasi jika database sumber dihentikan.
-
Jika Anda basis data adalah sumber dari blue/green penerapan, lingkungan biru dan hijau tidak dapat memiliki integrasi Zero-ETL yang ada selama peralihan. Anda harus menghapus integrasi tersebut terlebih dahulu dan beralih, lalu membuat ulang integrasi.
-
Anda tidak dapat membuat integrasi untuk database sumber yang memiliki integrasi lain yang sedang dibuat secara aktif.
-
Saat Anda pertama kali membuat integrasi, atau ketika tabel sedang disinkronkan ulang, seeding data dari sumber ke target dapat memakan waktu 20-25 menit atau lebih tergantung ukuran basis data sumber. Penundaan ini dapat menyebabkan peningkatan lag replika.
-
Beberapa jenis data tidak didukung. Untuk informasi selengkapnya, lihat Perbedaan tipe data antara RDS dan basis data Amazon Redshift.
-
Tabel sistem, tabel sementara, dan tampilan tidak direplikasi ke gudang target.
-
Melakukan perintah DDL (misalnya
ALTER TABLE) pada tabel sumber dapat memicu sinkronisasi ulang tabel, membuat tabel tidak tersedia untuk kueri saat disinkronkan ulang. Untuk informasi selengkapnya, lihat Satu atau beberapa tabel Amazon Redshift saya memerlukan sinkronisasi ulang.
RDS for MySQL keterbatasan
-
Basis data sumber Anda harus menjalankan versi RDS yang didukung untuk MySQL. Untuk daftar versi yang didukung, lihat Daerah yang Didukung dan engine DB untuk integrasi Amazon RDS Zero-ETL.
-
Zero-ETL integrasi tidak didukung pada instance utama dan instance replika baca dalam hal yang sama AWS Wilayah.
-
Zero-ETL integrasi bergantung pada logging biner MySQL (binlog) untuk menangkap perubahan data yang sedang berlangsung. Jangan gunakan pemfilteran data berbasis binlog, karena dapat menyebabkan inkonsistensi data antara database sumber dan target.
-
Zero-ETL integrasi hanya didukung untuk database yang dikonfigurasi untuk menggunakan mesin penyimpanan InnoDB.
-
Referensi kunci asing dengan pembaruan tabel yang telah ditentukan tidak didukung. Secara khusus,
ON DELETEdanON UPDATEaturan tidak didukung denganCASCADE,SET NULL, danSET DEFAULTtindakan. Mencoba membuat atau memperbarui tabel dengan referensi tersebut ke tabel lain akan menempatkan tabel ke dalam keadaan gagal. -
Anda tidak dapat membuat integrasi untuk database sumber yang menggunakan penyimpanan magnetik.
RDS untuk batasan PostgreSQL
-
Basis data sumber harus berupa RDS untuk instans PostgreSQL yang menjalankan versi 15.7+, 16.3+, atau 17.1+. Versi sebelumnya tidak didukung.
-
Integrasi RDS untuk PostgreSQL Zero-ETL tidak mendukung Multi-AZ Cluster DB sebagai basis data sumber.
-
Anda tidak dapat membuat integrasi Zero-ETL dari instance replika baca RDS untuk PostgreSQL.
-
Tabel PostgreSQL yang tidak dicatat dan tampilan yang terwujud tidak direplikasi ke Amazon Redshift.
-
Replikasi tipe data PostgreSQL tertentu, seperti tipe data geometri
dan data yang lebih besar dari 64KB, tidak didukung karena keterbatasan di Amazon Redshift. Untuk informasi selengkapnya tentang perbedaan tipe data antara RDS untuk PostgreSQL dan Amazon Redshift, lihat RDS for PostgreSQL di Perbedaan tipe data bagian. -
Anda tidak dapat melakukan upgrade versi utama pada sumber RDS untuk instance PostgreSQL saat memiliki integrasi Zero-ETL aktif. Untuk memutakhirkan instance sumber, Anda harus terlebih dahulu menghapus semua integrasi Zero-ETL yang ada. Setelah upgrade versi utama selesai, Anda dapat membuat ulang integrasi Zero-ETL.
-
Jika Anda melakukan partisi deklaratif
transaksi pada instance DB sumber, semua tabel yang terpengaruh memasuki status gagal dan tidak lagi dapat diakses. -
Jika
max_slot_wal_keep_sizediatur ke nilai terbatas pada sumber RDS untuk instance PostgreSQL, slot replikasi logis yang digunakan oleh integrasi dapat dibatalkan ketika retensi WAL melebihi ukuran itu. Slot yang tidak valid menghentikan replikasi dan integrasi tidak dapat pulih tanpa rekreasi. Kami merekomendasikan untuk pergimax_slot_wal_keep_sizepada default PostgreSQL-1(tidak terbatas), atau mengaturnya cukup besar untuk mengakomodasi WAL yang dihasilkan selama integrasi bootstrap dan lag transien. -
Referensi kunci asing dengan pembaruan tabel yang telah ditentukan tidak didukung. Secara khusus,
ON DELETEdanON UPDATEaturan tidak didukung denganCASCADE,SET NULL, danSET DEFAULTtindakan. Tabel dengan referensi seperti itu memasuki status gagal dan tidak direplikasi ke Amazon Redshift.
Batasan RDS for Oracle
-
Basis data sumber harus berupa RDS untuk instance Oracle yang menjalankan versi 19c Enterprise Edition atau Edisi Standar 2, Pembaruan Rilis Juli 2019 atau yang lebih baru. Versi sebelumnya tidak didukung.
-
Anda tidak dapat membuat integrasi Zero-ETL dari instance replika baca RDS untuk Oracle.
-
Anda tidak dapat mengganti nama database penyewa ketika ada integrasi Zero-ETL pada database penyewa itu.
-
Database penyewa hanya dapat memiliki satu integrasi Zero-ETL.
-
RDS untuk Oracle dan Amazon Redshift memiliki beberapa perbedaan tipe data. Untuk informasi lebih lanjut, lihat RDS for Oracle di Perbedaan tipe data bagian.
Batasan Amazon Redshift
Untuk daftar batasan Amazon Redshift terkait integrasi Zero-ETL, lihat Pertimbangan saat menggunakan integrasi Zero-ETL dengan Amazon Redshift di Panduan Manajemen Amazon Redshift.
Amazon SageMaker AI keterbatasan rumah danau
Berikut ini adalah batasan untuk Amazon SageMaker AI integrasi lakehouse zero-ETL.
-
Nama katalog dibatasi hingga 19 karakter panjangnya.
Kuota
Akun Anda memiliki kuota berikut terkait RDS Integrasi nol ETL. Kecuali ditentukan lain, masing-masing kuota ditentukan untuk setiap Wilayah.
| Nama | Default | Deskripsi |
|---|---|---|
| Integrasi | 100 | Jumlah total integrasi dalam sebuah Akun AWS. |
| Integrasi per target | 50 | Jumlah integrasi yang mengirim data ke gudang data target tunggal atau rumah danau. |
| Integrasi per instans sumber | 5 | Jumlah integrasi yang mengirimkan data dari instans DB sumber tunggal. |
Selain itu, gudang target menempatkan batasan tertentu pada jumlah tabel yang diizinkan di setiap instance DB atau node cluster. Untuk informasi selengkapnya tentang kuota dan batas Amazon Redshift, lihat Kuota dan batasan di Amazon Redshift di Panduan Manajemen Amazon Redshift.
Wilayah yang Didukung
RDS Integrasi zero-ETL tersedia dalam subset Wilayah AWS. Untuk mengetahui daftar Wilayah yang didukung, lihat Daerah yang Didukung dan engine DB untuk integrasi Amazon RDS Zero-ETL.