nilai grup mongodb dengan beberapa bidang


106

Misalnya, saya punya dokumen ini:

{
  "addr": "address1",
  "book": "book1"
},
{
  "addr": "address2",
  "book": "book1"
},
{
  "addr": "address1",
  "book": "book5"
},
{
  "addr": "address3",
  "book": "book9"
},
{
  "addr": "address2",
  "book": "book5"
},
{
  "addr": "address2",
  "book": "book1"
},
{
  "addr": "address1",
  "book": "book1"
},
{
  "addr": "address15",
  "book": "book1"
},
{
  "addr": "address9",
  "book": "book99"
},
{
  "addr": "address90",
  "book": "book33"
},
{
  "addr": "address4",
  "book": "book3"
},
{
  "addr": "address5",
  "book": "book1"
},
{
  "addr": "address77",
  "book": "book11"
},
{
  "addr": "address1",
  "book": "book1"
}

dan seterusnya.


Bagaimana saya bisa membuat permintaan, yang akan menjelaskan alamat N teratas dan M buku teratas per alamat?

Contoh hasil yang diharapkan:

address1 | book_1: 5
| book_2: 10
| book_3: 50
| total: 65
______________________
alamat2 | book_1: 10
| book_2: 10
| ...
| book_M: 10
| total: M * 10
...
______________________
alamatN | book_1: 20
| book_2: 20
| ...
| book_M: 20
| total: M * 20

Jawaban:


202

Ringkasan TLDR

Dalam rilis MongoDB modern, Anda dapat melakukan brute force ini $slicehanya dengan hasil agregasi dasar. Untuk "besar" hasil, menjalankan query paralel, bukan untuk setiap pengelompokan (demonstrasi listing adalah pada akhir jawabannya), atau menunggu SERVER-9377 untuk menyelesaikan, yang akan memungkinkan "batas" untuk jumlah item untuk $pushke Himpunan.

db.books.aggregate([
    { "$group": {
        "_id": {
            "addr": "$addr",
            "book": "$book"
        },
        "bookCount": { "$sum": 1 }
    }},
    { "$group": {
        "_id": "$_id.addr",
        "books": { 
            "$push": { 
                "book": "$_id.book",
                "count": "$bookCount"
            },
        },
        "count": { "$sum": "$bookCount" }
    }},
    { "$sort": { "count": -1 } },
    { "$limit": 2 },
    { "$project": {
        "books": { "$slice": [ "$books", 2 ] },
        "count": 1
    }}
])

Pratinjau MongoDB 3.6

Masih belum menyelesaikan SERVER-9377 , tetapi dalam rilis ini $lookupmemungkinkan opsi "tidak berkorelasi" baru yang mengambil "pipeline"ekspresi sebagai argumen, bukan opsi "localFields"dan "foreignFields". Ini kemudian memungkinkan "bergabung sendiri" dengan ekspresi pipeline lain, di mana kita dapat menerapkannya $limituntuk mengembalikan hasil "top-n".

db.books.aggregate([
  { "$group": {
    "_id": "$addr",
    "count": { "$sum": 1 }
  }},
  { "$sort": { "count": -1 } },
  { "$limit": 2 },
  { "$lookup": {
    "from": "books",
    "let": {
      "addr": "$_id"
    },
    "pipeline": [
      { "$match": { 
        "$expr": { "$eq": [ "$addr", "$$addr"] }
      }},
      { "$group": {
        "_id": "$book",
        "count": { "$sum": 1 }
      }},
      { "$sort": { "count": -1  } },
      { "$limit": 2 }
    ],
    "as": "books"
  }}
])

Penambahan lainnya di sini tentu saja adalah kemampuan untuk menginterpolasi variabel melalui $exprpenggunaan $matchuntuk memilih item yang cocok di "gabung", tetapi premis umumnya adalah "pipa dalam pipa" di mana konten dalam dapat difilter dengan kecocokan dari induk . Karena keduanya adalah "jalur pipa" sendiri, kami bisa$limit masing masing menghasilkan secara terpisah.

Ini akan menjadi opsi terbaik berikutnya untuk menjalankan kueri paralel, dan sebenarnya akan lebih baik jika $matchdiizinkan dan dapat menggunakan indeks dalam pemrosesan "sub-pipeline". Jadi, mana yang tidak menggunakan "batas untuk $push" seperti yang diminta oleh masalah yang direferensikan, ini sebenarnya memberikan sesuatu yang seharusnya bekerja lebih baik.


Konten Asli

Anda tampaknya telah menemukan masalah "N" teratas. Di satu sisi, masalah Anda cukup mudah dipecahkan meskipun tidak dengan batasan persis seperti yang Anda minta:

db.books.aggregate([
    { "$group": {
        "_id": {
            "addr": "$addr",
            "book": "$book"
        },
        "bookCount": { "$sum": 1 }
    }},
    { "$group": {
        "_id": "$_id.addr",
        "books": { 
            "$push": { 
                "book": "$_id.book",
                "count": "$bookCount"
            },
        },
        "count": { "$sum": "$bookCount" }
    }},
    { "$sort": { "count": -1 } },
    { "$limit": 2 }
])

Sekarang akan memberi Anda hasil seperti ini:

{
    "result" : [
            {
                    "_id" : "address1",
                    "books" : [
                            {
                                    "book" : "book4",
                                    "count" : 1
                            },
                            {
                                    "book" : "book5",
                                    "count" : 1
                            },
                            {
                                    "book" : "book1",
                                    "count" : 3
                            }
                    ],
                    "count" : 5
            },
            {
                    "_id" : "address2",
                    "books" : [
                            {
                                    "book" : "book5",
                                    "count" : 1
                            },
                            {
                                    "book" : "book1",
                                    "count" : 2
                            }
                    ],
                    "count" : 3
            }
    ],
    "ok" : 1
}

Jadi ini berbeda dari yang Anda tanyakan, sementara kami mendapatkan hasil teratas untuk nilai alamat, pemilihan "buku" yang mendasarinya tidak terbatas hanya pada jumlah hasil yang diminta.

Hal ini ternyata sangat sulit dilakukan, tetapi dapat dilakukan meskipun kerumitannya hanya bertambah dengan jumlah item yang perlu Anda padukan. Untuk membuatnya tetap sederhana, kita dapat menyimpan ini paling banyak pada 2 pertandingan:

db.books.aggregate([
    { "$group": {
        "_id": {
            "addr": "$addr",
            "book": "$book"
        },
        "bookCount": { "$sum": 1 }
    }},
    { "$group": {
        "_id": "$_id.addr",
        "books": { 
            "$push": { 
                "book": "$_id.book",
                "count": "$bookCount"
            },
        },
        "count": { "$sum": "$bookCount" }
    }},
    { "$sort": { "count": -1 } },
    { "$limit": 2 },
    { "$unwind": "$books" },
    { "$sort": { "count": 1, "books.count": -1 } },
    { "$group": {
        "_id": "$_id",
        "books": { "$push": "$books" },
        "count": { "$first": "$count" }
    }},
    { "$project": {
        "_id": {
            "_id": "$_id",
            "books": "$books",
            "count": "$count"
        },
        "newBooks": "$books"
    }},
    { "$unwind": "$newBooks" },
    { "$group": {
      "_id": "$_id",
      "num1": { "$first": "$newBooks" }
    }},
    { "$project": {
        "_id": "$_id",
        "newBooks": "$_id.books",
        "num1": 1
    }},
    { "$unwind": "$newBooks" },
    { "$project": {
        "_id": "$_id",
        "num1": 1,
        "newBooks": 1,
        "seen": { "$eq": [
            "$num1",
            "$newBooks"
        ]}
    }},
    { "$match": { "seen": false } },
    { "$group":{
        "_id": "$_id._id",
        "num1": { "$first": "$num1" },
        "num2": { "$first": "$newBooks" },
        "count": { "$first": "$_id.count" }
    }},
    { "$project": {
        "num1": 1,
        "num2": 1,
        "count": 1,
        "type": { "$cond": [ 1, [true,false],0 ] }
    }},
    { "$unwind": "$type" },
    { "$project": {
        "books": { "$cond": [
            "$type",
            "$num1",
            "$num2"
        ]},
        "count": 1
    }},
    { "$group": {
        "_id": "$_id",
        "count": { "$first": "$count" },
        "books": { "$push": "$books" }
    }},
    { "$sort": { "count": -1 } }
])

Jadi itu benar-benar akan memberi Anda 2 "buku" teratas dari dua entri "alamat" teratas.

Tapi untuk uang saya, tetap dengan bentuk pertama dan kemudian cukup "potong" elemen dari array yang dikembalikan untuk mengambil elemen "N" pertama.


Kode Demonstrasi

Kode demonstrasi sesuai untuk digunakan dengan versi LTS NodeJS saat ini dari rilis v8.x dan v10.x. Itu sebagian besar untuk async/awaitsintaks, tetapi tidak ada yang benar-benar dalam aliran umum yang memiliki batasan seperti itu, dan beradaptasi dengan sedikit perubahan pada promise biasa atau bahkan kembali ke implementasi callback biasa.

index.js

const { MongoClient } = require('mongodb');
const fs = require('mz/fs');

const uri = 'mongodb://localhost:27017';

const log = data => console.log(JSON.stringify(data, undefined, 2));

(async function() {

  try {
    const client = await MongoClient.connect(uri);

    const db = client.db('bookDemo');
    const books = db.collection('books');

    let { version } = await db.command({ buildInfo: 1 });
    version = parseFloat(version.match(new RegExp(/(?:(?!-).)*/))[0]);

    // Clear and load books
    await books.deleteMany({});

    await books.insertMany(
      (await fs.readFile('books.json'))
        .toString()
        .replace(/\n$/,"")
        .split("\n")
        .map(JSON.parse)
    );

    if ( version >= 3.6 ) {

    // Non-correlated pipeline with limits
      let result = await books.aggregate([
        { "$group": {
          "_id": "$addr",
          "count": { "$sum": 1 }
        }},
        { "$sort": { "count": -1 } },
        { "$limit": 2 },
        { "$lookup": {
          "from": "books",
          "as": "books",
          "let": { "addr": "$_id" },
          "pipeline": [
            { "$match": {
              "$expr": { "$eq": [ "$addr", "$$addr" ] }
            }},
            { "$group": {
              "_id": "$book",
              "count": { "$sum": 1 },
            }},
            { "$sort": { "count": -1 } },
            { "$limit": 2 }
          ]
        }}
      ]).toArray();

      log({ result });
    }

    // Serial result procesing with parallel fetch

    // First get top addr items
    let topaddr = await books.aggregate([
      { "$group": {
        "_id": "$addr",
        "count": { "$sum": 1 }
      }},
      { "$sort": { "count": -1 } },
      { "$limit": 2 }
    ]).toArray();

    // Run parallel top books for each addr
    let topbooks = await Promise.all(
      topaddr.map(({ _id: addr }) =>
        books.aggregate([
          { "$match": { addr } },
          { "$group": {
            "_id": "$book",
            "count": { "$sum": 1 }
          }},
          { "$sort": { "count": -1 } },
          { "$limit": 2 }
        ]).toArray()
      )
    );

    // Merge output
    topaddr = topaddr.map((d,i) => ({ ...d, books: topbooks[i] }));
    log({ topaddr });

    client.close();

  } catch(e) {
    console.error(e)
  } finally {
    process.exit()
  }

})()

books.json

{ "addr": "address1",  "book": "book1"  }
{ "addr": "address2",  "book": "book1"  }
{ "addr": "address1",  "book": "book5"  }
{ "addr": "address3",  "book": "book9"  }
{ "addr": "address2",  "book": "book5"  }
{ "addr": "address2",  "book": "book1"  }
{ "addr": "address1",  "book": "book1"  }
{ "addr": "address15", "book": "book1"  }
{ "addr": "address9",  "book": "book99" }
{ "addr": "address90", "book": "book33" }
{ "addr": "address4",  "book": "book3"  }
{ "addr": "address5",  "book": "book1"  }
{ "addr": "address77", "book": "book11" }
{ "addr": "address1",  "book": "book1"  }

45

Menggunakan fungsi agregat seperti di bawah ini:

[
{$group: {_id : {book : '$book',address:'$addr'}, total:{$sum :1}}},
{$project : {book : '$_id.book', address : '$_id.address', total : '$total', _id : 0}}
]

itu akan memberi Anda hasil seperti berikut:

        {
            "total" : 1,
            "book" : "book33",
            "address" : "address90"
        }, 
        {
            "total" : 1,
            "book" : "book5",
            "address" : "address1"
        }, 
        {
            "total" : 1,
            "book" : "book99",
            "address" : "address9"
        }, 
        {
            "total" : 1,
            "book" : "book1",
            "address" : "address5"
        }, 
        {
            "total" : 1,
            "book" : "book5",
            "address" : "address2"
        }, 
        {
            "total" : 1,
            "book" : "book3",
            "address" : "address4"
        }, 
        {
            "total" : 1,
            "book" : "book11",
            "address" : "address77"
        }, 
        {
            "total" : 1,
            "book" : "book9",
            "address" : "address3"
        }, 
        {
            "total" : 1,
            "book" : "book1",
            "address" : "address15"
        }, 
        {
            "total" : 2,
            "book" : "book1",
            "address" : "address2"
        }, 
        {
            "total" : 3,
            "book" : "book1",
            "address" : "address1"
        }

Saya tidak mendapatkan format hasil yang Anda harapkan, jadi silakan memodifikasinya ke format yang Anda butuhkan.


1
Itu hanya menyelesaikan sebagian dari masalah, dan tidak melakukan "puncak" untuk dua pengelompokan.
WiredPrairie

Selain itu, pada komentar dari @WiredPrairie saya tidak dapat melihat bagaimana ini bahkan memecahkan bagian mana pun dari pertanyaan yang diajukan. "Alamat N teratas dan N buku teratas per alamat".
Neil Lunn

tolong bantu jika Anda bisa untuk pertanyaan terkait di mongoDB - stackoverflow.com/questions/61067856/…
newdeveloper

4

Kueri di bawah ini akan memberikan hasil yang sama persis seperti yang diberikan dalam respons yang diinginkan:

db.books.aggregate([
    {
        $group: {
            _id: { addresses: "$addr", books: "$book" },
            num: { $sum :1 }
        }
    },
    {
        $group: {
            _id: "$_id.addresses",
            bookCounts: { $push: { bookName: "$_id.books",count: "$num" } }
        }
    },
    {
        $project: {
            _id: 1,
            bookCounts:1,
            "totalBookAtAddress": {
                "$sum": "$bookCounts.count"
            }
        }
    }

]) 

Responnya akan terlihat seperti di bawah ini:

/* 1 */
{
    "_id" : "address4",
    "bookCounts" : [
        {
            "bookName" : "book3",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 1
},

/* 2 */
{
    "_id" : "address90",
    "bookCounts" : [
        {
            "bookName" : "book33",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 1
},

/* 3 */
{
    "_id" : "address15",
    "bookCounts" : [
        {
            "bookName" : "book1",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 1
},

/* 4 */
{
    "_id" : "address3",
    "bookCounts" : [
        {
            "bookName" : "book9",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 1
},

/* 5 */
{
    "_id" : "address5",
    "bookCounts" : [
        {
            "bookName" : "book1",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 1
},

/* 6 */
{
    "_id" : "address1",
    "bookCounts" : [
        {
            "bookName" : "book1",
            "count" : 3
        },
        {
            "bookName" : "book5",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 4
},

/* 7 */
{
    "_id" : "address2",
    "bookCounts" : [
        {
            "bookName" : "book1",
            "count" : 2
        },
        {
            "bookName" : "book5",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 3
},

/* 8 */
{
    "_id" : "address77",
    "bookCounts" : [
        {
            "bookName" : "book11",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 1
},

/* 9 */
{
    "_id" : "address9",
    "bookCounts" : [
        {
            "bookName" : "book99",
            "count" : 1
        }
    ],
    "totalBookAtAddress" : 1
}

Tentu saja itu tidak mengembalikan "respons yang diinginkan". Anda belum membaca pertanyaan atau jawaban yang diterima. Pertanyaan menanyakan hasil N Teratas untuk setiap pengelompokan, bukan hanya SEMUA hasil. Perhatikan baik-baik tanggapannya (terutama dua daftar pertama). Kami hanya mengembalikan dua "item teratas" dalam setiap grup
Neil Lunn
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.