Apa yang kami miliki (perangkat lunak):
- PostrgeSQL 9.3 dengan konfigurasi basis (tidak ada perubahan
postgresql.conf
) - Windows 7 64 bit
Perangkat keras:
- Intel Core i7-3770 3,9 Ghz
- RAM 32 Gb
- WDC WD10EZRX-00L4HBAta Drive (1000Gb, SATA III)
Jadi, kita harus memuat ke DB aprox. 100.000.000 baris dengan kolom bytea , dan 500.000.000 baris lebih sederhana (tanpa LOB). Ada 2 varchar
indeks pada tabel 1 (dengan panjang 13, 19) dan 2 varchar
indeks pada tabel 2 (panjang 18, 10). Ada juga urutan untuk pembuatan id untuk setiap tabel.
Sekarang operasi ini dilakukan dengan 8 koneksi secara paralel dengan ukuran batch 50 JDBC. Gambar di bawah ini menunjukkan beban sistem: ini adalah beban nol pada postgresql
proses. Setelah 24 jam memuat, kami hanya memuat 10.000.000 baris yang hasilnya sangat lambat.
Kami meminta bantuan dalam menyetel PostrgreSQL
konfigurasi untuk tujuan:
1) untuk pemuatan data yang sangat cepat ini, ini adalah operasi sekali saja, sehingga bisa jadi konfigurasi sementara
2) untuk mode produksi untuk melakukan jumlah SELECT moderat ke dalam 2 tabel ini dengan indeks mereka tanpa bergabung dan tanpa penyortiran.