Pertanyaan yang diberi tag «etl»

Saya menggunakan PostgreSQL 9.1 di Ubuntu. Apakah dijadwalkan VACUUM ANALYZEmasih direkomendasikan, atau apakah autovacuum cukup untuk memenuhi semua kebutuhan? Jika jawabannya "tergantung", maka: Saya memiliki database largish (ukuran pembuangan terkompresi 30 GiB, direktori data 200 GiB) Saya melakukan ETL ke dalam database, mengimpor hampir 3 juta baris per minggu Tabel …

38 postgresql  etl  vacuum 

Sebagai bagian dari proses ETL kami, kami membandingkan baris dari pementasan terhadap database pelaporan untuk mencari tahu apakah ada kolom yang benar-benar berubah sejak data terakhir dimuat. Perbandingan didasarkan pada kunci unik dari tabel dan beberapa jenis hash dari semua kolom lainnya. Kami saat ini menggunakan HASHBYTESdengan SHA2_256algoritma dan telah …

29 sql-server  sql-server-2016  etl  sql-clr  hashing 

Pertanyaan: Saya memiliki skrip dengan sekitar 45 ribu sisipan dari pernyataan pilih. Ketika saya mencoba dan menjalankannya, saya mendapatkan pesan kesalahan yang menyatakan bahwa saya kehabisan memori. Bagaimana saya bisa menjalankan skrip ini? Konteks: Menambahkan beberapa bidang data baru untuk membuat aplikasi bermain bagus dengan aplikasi lain yang digunakan klien. …

28 sql-server  sql-server-2005  etl 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai dengan topik untuk Administrator Stack Exchange. Ditutup 4 tahun yang lalu . Saya menggunakan Integrasi Data Pentaho bahkan sebelum Pentaho membelinya dan menyebutnya begitu. Saya memiliki versi gratis terakhir. Saya …

26 etl 

Saya menyadari bahwa perusahaan saya menggunakan proses ELT (extract-load-transform) alih-alih menggunakan proses ETL (extract-transform-load). Apa perbedaan dalam dua pendekatan dan di mana situasi yang satu akan "lebih baik" dari yang lain? Akan lebih bagus jika Anda bisa memberikan beberapa contoh.

19 data-warehouse  etl  business-intelligence 

Kami sedang melakukan proses ETL. Ketika semua dikatakan dan dilakukan ada banyak tabel yang harus identik. Apa cara tercepat untuk memverifikasi bahwa tabel tersebut (pada dua server berbeda) sebenarnya identik. Saya berbicara skema dan data. Dapatkah saya melakukan hash di atas meja itu sendiri seperti saya akan dapat pada file …

12 sql-server  sql-server-2008-r2  etl  except 

Berdasarkan analisis saya, model dimensi lengkap untuk gudang data kami akan membutuhkan ekstraksi dari lebih dari 200 tabel sumber. Beberapa tabel ini akan diekstraksi sebagai bagian dari beban tambahan dan lainnya akan menjadi beban penuh. Untuk diketahui, kami memiliki sekitar 225 sumber basis data dengan skema yang sama. Dari apa …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

Saya cukup baru untuk PostgreSQL, saya belum pernah melakukan penyebaran besar menggunakannya sebelumnya. Tetapi, saya memiliki pengalaman yang baik dalam solusi perusahaan dan saya ingin mencoba dan menerapkan beberapa dari apa yang saya pelajari menggunakan PostgreSQL. Saya memiliki situs yang berukuran untuk menangani sejumlah besar data dan lalu lintas. Infrastruktur …

11 postgresql  data-warehouse  etl 

Saat ini saya sedang dalam proses membuat ETL untuk gudang data kami. Kami menggunakan SSIS 2008, tetapi kami mengalami masalah, yang terbesar adalah kesulitan dalam menggunakan kembali komponen. Kami memiliki paket terpisah untuk setiap tabel dan setiap paket mengambil input sejumlah variabel dari paket induk. Saat kami membuat perubahan pada …

10 sql-server  etl 

Saya telah meneliti basis data Redshift Amazon sebagai kemungkinan pengganti di masa depan untuk gudang data kami. Pengalaman saya selalu menggunakan pemodelan dimensi dan metode Ralph Kimball, jadi agak aneh melihat Redshift tidak mendukung fitur seperti tipe data serial untuk kolom penambahan otomatis. Namun, ada posting blog terbaru dari AWS …

9 etl  dimensional-modeling  redshift