Elasticsearch 2.1: Jendela hasil terlalu besar (index.max_result_window)

Kami mengambil informasi dari Elasticsearch 2.1 dan mengizinkan pengguna untuk membuka halaman melalui hasil. Ketika pengguna meminta nomor halaman yang tinggi, kami mendapatkan pesan kesalahan berikut:

Jendela hasil terlalu besar, dari + size harus kurang dari atau sama dengan: [10000] tetapi sebelumnya [10020]. Lihat api gulir untuk cara yang lebih efisien dalam meminta kumpulan data yang besar. Batas ini dapat disetel dengan mengubah parameter level indeks [index.max_result_window]

Docu elastis mengatakan bahwa ini karena konsumsi memori yang tinggi dan menggunakan api gulir:

Nilai yang lebih tinggi dari dapat menghabiskan banyak memori heap per pencarian dan per pecahan yang menjalankan pencarian. Paling aman meninggalkan nilai ini karena ini adalah penggunaan api gulir untuk pengguliran dalam apa pun https://www.elastic.co/guide/en/elasticsearch/reference/2.x/breaking_21_search_changes.html#_from_size_limits

Masalahnya adalah saya tidak ingin mengambil kumpulan data yang besar. Saya hanya ingin mengambil sepotong dari kumpulan data yang sangat tinggi di kumpulan hasil. Juga docu bergulir mengatakan:

Pengguliran tidak dimaksudkan untuk permintaan pengguna waktu nyata https://www.elastic.co/guide/en/elasticsearch/reference/2.2/search-request-scroll.html

Ini membuat saya memiliki beberapa pertanyaan:

1) Akankah konsumsi memori benar-benar lebih rendah (ada jika demikian mengapa) jika saya menggunakan api gulir untuk menggulir ke atas hingga hasil 10020 (dan mengabaikan semua yang di bawah 10000) daripada melakukan permintaan pencarian "normal" untuk hasil 10000-10020?

2) Tampaknya API gulir merupakan pilihan bagi saya tetapi saya harus meningkatkan "index.max_result_window". Apakah ada yang punya pengalaman dengan ini?

3) Apakah ada opsi lain untuk menyelesaikan masalah saya?

Jika Anda membutuhkan penomoran halaman yang dalam, salah satu solusi yang mungkin adalah meningkatkan nilainya max_result_window. Anda dapat menggunakan curluntuk melakukan ini dari baris perintah shell Anda:

curl -XPUT "http://localhost:9200/my_index/_settings" -H 'Content-Type: application/json' -d '{ "index" : { "max_result_window" : 500000 } }'

Saya tidak melihat peningkatan penggunaan memori, untuk nilai ~ 100k.

Solusi yang tepat adalah menggunakan scrolling.
Namun, jika Anda ingin memperluas searchpengembalian hasil melebihi 10.000 hasil, Anda dapat melakukannya dengan mudah dengan Kibana:

Pergi ke Dev Toolsdan posting yang berikut ini ke indeks Anda (nama_anda_anda), tentukan apa yang akan menjadi jendela hasil maksimal yang baru

PUT your_index_name/_settings
{ 
  "max_result_window" : 500000 
}

Jika semuanya berjalan dengan baik, Anda akan melihat respons sukses berikut:

{
  "acknowledged": true
}

Halaman-halaman berikut dalam dokumentasi elastis berbicara tentang deep paging:

https://www.elastic.co/guide/en/elasticsearch/guide/current/pagination.html https://www.elastic.co/guide/en/elasticsearch/guide/current/_fetch_phase.html

Bergantung pada ukuran dokumen Anda, jumlah shard, dan perangkat keras yang Anda gunakan, paging 10.000 hingga 50.000 hasil (1.000 hingga 5.000 halaman) sedalam harus dapat dilakukan dengan sempurna. Tetapi dengan nilai from yang cukup besar, proses pengurutan bisa menjadi sangat berat, menggunakan CPU, memori, dan bandwidth dalam jumlah besar. Untuk alasan ini, kami sangat menyarankan agar paging dalam tidak digunakan.

Gunakan Scroll API untuk mendapatkan lebih dari 10.000 hasil.

Contoh gulir di ElasticSearch NEST API

Saya telah menggunakannya seperti ini:

private static Customer[] GetCustomers(IElasticClient elasticClient)
{
    var customers = new List<Customer>();
    var searchResult = elasticClient.Search<Customer>(s => s.Index(IndexAlias.ForCustomers())
                          .Size(10000).SearchType(SearchType.Scan).Scroll("1m"));

    do
    {
        var result = searchResult;
        searchResult = elasticClient.Scroll<Customer>("1m", result.ScrollId);
        customers.AddRange(searchResult.Documents);
    } while (searchResult.IsValid && searchResult.Documents.Any());

    return customers.ToArray();
}

Jika Anda menginginkan lebih dari 10.000 hasil maka di semua node data penggunaan memori akan sangat tinggi karena harus mengembalikan lebih banyak hasil di setiap permintaan kueri. Kemudian jika Anda memiliki lebih banyak data dan lebih banyak pecahan, penggabungan hasil tersebut tidak akan efisien. Juga es cache konteks filter, karenanya lebih banyak memori. Anda harus coba-coba berapa banyak tepatnya yang Anda ambil. Jika Anda mendapatkan banyak permintaan di jendela kecil, Anda harus melakukan beberapa kueri selama lebih dari 10k dan menggabungkannya sendiri ke dalam kode, yang seharusnya mengambil lebih sedikit memori aplikasi daripada jika Anda meningkatkan ukuran jendela.

2) Tampaknya API gulir merupakan pilihan bagi saya tetapi saya harus meningkatkan "index.max_result_window". Apakah ada yang punya pengalaman dengan ini?

-> Anda dapat menentukan nilai ini di templat indeks, templat es hanya akan berlaku untuk indeks baru, jadi Anda harus menghapus indeks lama setelah membuat templat atau menunggu data baru diserap di elasticsearch.

{"order": 1, "template": "index_template *", "settings": {"index.number_of_replicas": "0", "index.number_of_shards": "1", "index.max_result_window": 2147483647},

Dalam kasus saya, sepertinya mengurangi hasil melalui awalan from & size ke kueri akan menghapus kesalahan karena kami tidak memerlukan semua hasil:

GET widgets_development/_search
{
  "from" : 0, 
  "size": 5,
  "query": {
    "bool": {}
  },
  "sort": {
    "col_one": "asc"
  }
}