Apakah ada bahasa query untuk JSON?

Apakah ada (kira-kira) bahasa SQL atau seperti XQuery untuk query JSON?

Saya sedang memikirkan kumpulan data yang sangat kecil yang memetakan dengan baik ke JSON di mana akan menyenangkan jika menjawab pertanyaan seperti "apa saja semua nilai X di mana Y> 3" atau untuk melakukan operasi tipe SUM / COUNT seperti biasa.

Sebagai contoh yang sepenuhnya dibuat-buat, sesuatu seperti ini:

[{"x": 2, "y": 0}}, {"x": 3, "y": 1}, {"x": 4, "y": 1}]

SUM(X) WHERE Y > 0     (would equate to 7)
LIST(X) WHERE Y > 0    (would equate to [3,4])

Saya pikir ini akan bekerja baik sisi klien dan sisi server dengan hasil yang dikonversi ke struktur data spesifik bahasa yang sesuai (atau mungkin disimpan sebagai JSON)

Googling cepat menunjukkan bahwa orang-orang telah memikirkannya dan mengimplementasikan beberapa hal ( JAQL ), tetapi sepertinya itu bukan penggunaan standar atau sekumpulan perpustakaan yang telah muncul. Sementara setiap fungsi cukup sepele untuk diimplementasikan sendiri, jika seseorang telah melakukannya dengan benar, saya tidak ingin menemukan kembali roda.

Ada saran?

Sunting: Ini mungkin memang ide yang buruk atau JSON mungkin format yang terlalu umum untuk apa yang saya pikirkan .. Alasan menginginkan bahasa query alih-alih hanya melakukan penjumlahan / fungsi-fungsi langsung seperti yang diperlukan adalah bahwa saya berharap untuk membangun pertanyaan secara dinamis berdasarkan input pengguna. Agak suka argumen bahwa "kita tidak perlu SQL, kita bisa menulis fungsi yang kita butuhkan". Akhirnya yang keluar dari tangan atau Anda akhirnya menulis versi SQL Anda sendiri saat Anda mendorongnya semakin jauh. (Oke, saya tahu itu sedikit argumen yang konyol, tetapi Anda mendapatkan idenya ..)

Tentu, bagaimana dengan:

• JsonPath .
• Json Query

Mereka semua tampaknya sedikit bekerja dalam proses, tetapi bekerja sampai batas tertentu. Mereka juga mirip dengan XPath dan XQuery secara konseptual; meskipun XML dan JSON memiliki model konseptual yang berbeda (hierarkis vs objek / struct).

EDIT Sep-2015: Sebenarnya sekarang ada standar JSON Pointer yang memungkinkan traversal konten JSON yang sangat sederhana dan efisien. Ini tidak hanya ditentukan secara formal, tetapi juga didukung oleh banyak perpustakaan JSON. Jadi saya akan menyebutnya standar nyata yang sangat berguna, meskipun karena ekspresifitasnya yang terbatas, itu mungkin atau mungkin tidak dianggap Bahasa Query per se.

Saya akan merekomendasikan proyek saya yang sedang saya kerjakan bernama jLinq . Saya mencari umpan balik sehingga saya tertarik mendengar pendapat Anda.

Jika memungkinkan Anda menulis kueri yang mirip dengan yang Anda lakukan di LINQ ...

var results = jLinq.from(records.users)

    //you can join records
    .join(records.locations, "location", "locationId", "id")

    //write queries on the data
    .startsWith("firstname", "j")
    .or("k") //automatically remembers field and command names

    //even query joined items
    .equals("location.state", "TX")

    //and even do custom selections
    .select(function(rec) {
        return {
            fullname : rec.firstname + " " + rec.lastname,
            city : rec.location.city,
            ageInTenYears : (rec.age + 10)
        };
    });

Ini sepenuhnya dapat diperpanjang juga!

Dokumentasinya masih dalam proses, tetapi Anda masih dapat mencobanya secara online.

Pembaruan: XQuery 3.1 dapat meminta XML atau JSON - atau keduanya bersamaan. Dan XPath 3.1 juga bisa.

Daftar ini terus bertambah:

• JSONiq (berdasarkan XQuery)
• UNQL (seperti SQL)
• JaQL (fungsional)
• JsonPath (seperti XPath)
• Json Query (semacam XPath-like)
• GraphQL (berbasis template, diketik)

jmespath bekerja sangat mudah dan baik, http://jmespath.org/ Ini sedang digunakan oleh Amazon di antarmuka baris perintah AWS, jadi itu harus cukup stabil.

JQ adalah J SON q bahasa uery, terutama ditujukan untuk baris perintah tapi dengan binding untuk berbagai bahasa pemrograman (Java, node.js, php, ...) dan bahkan tersedia dalam browser melalui JQ-web .

Berikut adalah beberapa ilustrasi berdasarkan pertanyaan awal, yang memberikan JSON ini sebagai contoh:

 [{"x": 2, "y": 0}}, {"x": 3, "y": 1}, {"x": 4, "y": 1}]

SUM (X) WHERE Y> 0 (sama dengan 7)

map(select(.y > 0)) | add

LIST (X) WHERE Y> 0 (sama dengan [3,4])

map(.y > 0)

sintaks jq memperluas sintaks JSON

Setiap ekspresi JSON adalah ekspresi jq yang valid, dan ekspresi seperti [1, (1+1)]dan {"a": (1 + 1)} `menggambarkan bagaimana jq memperluas sintaks JSON.

Contoh yang lebih berguna adalah ekspresi jq:

{a,b}

yang, diberi nilai JSON {"a":1, "b":2, "c": 3}, dievaluasi menjadi {"a":1, "b":2}.

Built-in array.filter()metode membuat sebagian besar disebut perpustakaan permintaan javascript usang

Anda dapat menempatkan sebanyak mungkin kondisi di dalam delegasi seperti yang dapat Anda bayangkan: perbandingan sederhana, dimulai dengan, dll. Saya belum menguji tetapi Anda mungkin bisa menyaring filter juga untuk menanyakan koleksi dalam.

Jika Anda menggunakan .NET maka Json.NET mendukung kueri LINQ di atas JSON. Posting ini memiliki beberapa contoh. Ini mendukung penyaringan, pemetaan, pengelompokan, dll.

ObjectPath adalah bahasa query sederhana dan ligthweigth untuk dokumen JSON dari struktur yang kompleks atau tidak dikenal. Ini mirip dengan XPath atau JSONPath, tetapi jauh lebih kuat berkat perhitungan aritmatika tertanam, mekanisme perbandingan, dan fungsi bawaan.

Versi python sudah matang dan digunakan dalam produksi. JS masih dalam versi beta.

Mungkin dalam waktu dekat kami akan menyediakan versi Javascript lengkap. Kami juga ingin mengembangkannya lebih lanjut, sehingga bisa berfungsi sebagai alternatif yang lebih sederhana untuk pertanyaan Mongo.

Cara lain untuk melihatnya adalah dengan menggunakan mongoDB. Anda dapat menyimpan JSON Anda di mongo dan kemudian menanyakannya melalui sintaks permintaan mongodb.

OK, postingan ini agak lama, tapi ... jika Anda ingin melakukan query seperti SQL di JSON asli (atau objek JS) pada objek JS, lihat https://github.com/deitch/searchjs

Ini adalah bahasa jsql yang sepenuhnya ditulis dalam JSON, dan implementasi referensi. Anda dapat mengatakan, "Saya ingin menemukan semua objek dalam array yang memiliki nama ===" John "&& age === 25 sebagai:

{name:"John",age:25,_join:"AND"}

Searchjs implementasi referensi bekerja di browser serta sebagai paket npm node

npm install searchjs

Itu juga dapat melakukan hal-hal seperti gabungan kompleks dan negasi (TIDAK). Ini secara asli mengabaikan kasus.

Itu belum melakukan penjumlahan atau penghitungan, tetapi mungkin lebih mudah untuk melakukannya di luar.

Berikut adalah beberapa pustaka javascript sederhana yang juga akan melakukan trik:

• Dollar Q adalah perpustakaan ringan yang bagus. Ini memiliki rasa yang akrab dengan sintak rantai yang dipopulerkan oleh jQuery dan hanya 373 SLOC.
• SpahQL adalah bahasa query berfitur lengkap dengan sintaksis yang mirip dengan XPath ( Beranda , Github

• jFunk adalah bahasa permintaan sedang berlangsung, dengan sintaksis yang mirip dengan pemilih CSS / jQuery. Itu tampak menjanjikan, tetapi belum memiliki perkembangan di luar komitmen awal.

• (ditambahkan 2014): alat baris perintah jq memiliki sintaks yang rapi, tetapi sayangnya itu adalah pustaka ac. Contoh penggunaan:

  < package.json jq '.dependencies | to_entries | .[] | select(.value | startswith("git")) | .key'

Di MongoDB , beginilah cara kerjanya (di mongo shell, ada driver untuk bahasa pilihan Anda).

db.collection.insert({"x": 2, "y": 0}); // notice the ':' instead of ','
db.collection.insert({"x": 3, "y": 1});
db.collection.insert({"x": 4, "y": 1});

db.collection.aggregate([{$match: {"y": {$gt: 0}}}, 
                         {$group: {_id: "sum", sum: {$sum: "$x"}}}]);
db.collection.aggregate([{$match: {"y": {$gt: 0}}}, 
                         {$group: {_id: "list", list: {$push: "$x"}}}]);

Tiga perintah pertama memasukkan data ke dalam koleksi Anda. (Mulai saja mongodserver dan terhubung dengan mongoklien.)

Dua proses selanjutnya adalah data. $matchfilter, $groupterapkan sumdan list, masing-masing.

SpahQL adalah yang paling menjanjikan dan dipikirkan dengan baik dari ini, sejauh yang saya tahu. Saya sarankan untuk mengecek terlebih dahulu.

Saya baru saja menyelesaikan versi yang dapat dirilis dari JS-lib sisi klien (defiant.js) yang melakukan apa yang Anda cari. Dengan defiant.js, Anda dapat meminta struktur JSON dengan ekspresi XPath yang Anda kenal (tidak ada ekspresi sintaksis baru seperti pada JSONPath).

Contoh cara kerjanya (lihat di browser di sini http://defiantjs.com/defiant.js/demo/sum.avg.htm ):

var data = [
       { "x": 2, "y": 0 },
       { "x": 3, "y": 1 },
       { "x": 4, "y": 1 },
       { "x": 2, "y": 1 }
    ],
    res = JSON.search( data, '//*[ y > 0 ]' );

console.log( res.sum('x') );
// 9
console.log( res.avg('x') );
// 3
console.log( res.min('x') );
// 2
console.log( res.max('x') );
// 4

Seperti yang Anda lihat, DefiantJS memperluas JSON objek global dengan fungsi pencarian dan array yang dikembalikan dikirimkan dengan fungsi agregat. DefiantJS berisi beberapa fungsi lain tetapi itu berada di luar ruang lingkup untuk subjek ini. Siapa pun, Anda dapat menguji lib dengan XPath Evaluator di sisi klien. Saya pikir orang yang tidak terbiasa dengan XPath akan menganggap evaluator ini berguna.
http://defiantjs.com/#xpath_evaluator

Informasi lebih lanjut tentang defiant.js
http://defiantjs.com/
https://github.com/hbi99/defiant.js

Saya harap Anda menemukan itu berguna ... Salam

1. Google memiliki proyek yang disebut lovefield ; baru tahu tentang itu, dan itu terlihat menarik, meskipun itu lebih terlibat daripada hanya jatuh di garis bawah atau lodash.

   https://github.com/google/lovefield

Lovefield adalah mesin kueri relasional yang ditulis dalam JavaScript murni. Ini juga menyediakan bantuan dengan data yang bertahan di sisi browser, misalnya menggunakan IndexedDB untuk menyimpan data secara lokal. Ini memberikan sintaks seperti SQL dan bekerja lintas-browser (saat ini mendukung Chrome 37+, Firefox 31+, IE 10+, dan Safari 5.1 + ...

2. Entri terbaru yang menarik di ruang ini disebut jinqJs .

   http://www.jinqjs.com/

   Meninjau secara singkat contoh - contohnya , terlihat menjanjikan, dan dokumen API tampaknya ditulis dengan baik.

function isChild(row) {
  return (row.Age < 18 ? 'Yes' : 'No');
}

var people = [
  {Name: 'Jane', Age: 20, Location: 'Smithtown'},
  {Name: 'Ken', Age: 57, Location: 'Islip'},
  {Name: 'Tom', Age: 10, Location: 'Islip'}
];

var result = new jinqJs()
  .from(people)
  .orderBy('Age')
  .select([{field: 'Name'}, 
     {field: 'Age', text: 'Your Age'}, 
     {text: 'Is Child', value: isChild}]);

jinqJs adalah pustaka javaScript kecil, sederhana, ringan dan dapat dikembangkan yang tidak memiliki dependensi. jinqJs menyediakan cara sederhana untuk melakukan query seperti SQL pada array javaScript, koleksi dan layanan web yang mengembalikan respons JSON. jinqJs mirip dengan ekspresi Lambda Microsoft untuk .Net, dan menyediakan kemampuan yang mirip dengan kueri koleksi menggunakan sintaksis seperti SQL dan fungsi predikat. Tujuan jinqJs adalah untuk memberikan pengalaman seperti SQL untuk programmer yang akrab dengan query LINQ.

Saya akan mendukung gagasan hanya menggunakan javascript Anda sendiri, tetapi untuk sesuatu yang sedikit lebih canggih Anda mungkin melihat data dojo . Belum pernah menggunakannya tetapi sepertinya itu memberi Anda sekitar jenis antarmuka permintaan yang Anda cari.

Implementasi Jaql saat ini menargetkan pemrosesan data besar menggunakan cluster Hadoop, jadi mungkin lebih dari yang Anda butuhkan. Namun, ini berjalan dengan mudah tanpa cluster Hadoop (tetapi masih membutuhkan kode Hadoop dan dependensinya untuk dikompilasi, yang sebagian besar termasuk). Implementasi kecil Jaql yang dapat tertanam dalam Javascript dan browser akan menjadi tambahan yang bagus untuk proyek ini.

Contoh Anda di atas mudah ditulis dalam jaql:

$data = [{"x": 2, "y": 0}, {"x": 3, "y": 1}, {"x": 4, "y": 1}];

$data -> filter $.y > 0 -> transform $.x -> sum(); // 7

$data -> filter $.y > 0 -> transform $.x; // [3,4]

Tentu saja, masih banyak lagi. Sebagai contoh:

// Compute multiple aggregates and change nesting structure:
$data -> group by $y = $.y into { $y, s:sum($[*].x), n:count($), xs:$[*].x}; 
    // [{ "y": 0, "s": 2, "n": 1, "xs": [2]   },
    //  { "y": 1, "s": 7, "n": 2, "xs": [3,4] }]

// Join multiple data sets:
$more = [{ "y": 0, "z": 5 }, { "y": 1, "z": 6 }];
join $data, $more where $data.y == $more.y into {$data, $more};
    // [{ "data": { "x": 2, "y": 0 }, "more": { "y": 0, "z": 5 }},
    //  { "data": { "x": 3, "y": 1 }, "more": { "y": 1, "z": 6 }},
    //  { "data": { "x": 4, "y": 1 }, "more": { "y": 1, "z": 6 }}]

Jaql dapat diunduh / didiskusikan di http://code.google.com/p/jaql/

Anda juga dapat menggunakan Underscore.js yang pada dasarnya adalah pustaka swiss-knife untuk memanipulasi koleksi. Menggunakan _.filter, _.pluck, _.reduceAnda dapat melakukan SQL seperti query.

var data = [{"x": 2, "y": 0}, {"x": 3, "y": 1}, {"x": 4, "y": 1}];

var posData = _.filter(data, function(elt) { return elt.y > 0; });
// [{"x": 3, "y": 1}, {"x": 4, "y": 1}]

var values = _.pluck(posData, "x");
// [3, 4]

var sum = _.reduce(values, function(a, b) { return a+b; });
// 7

Underscore.js berfungsi baik sisi klien dan sisi server dan merupakan pustaka terkenal.

Anda juga dapat menggunakan Lo-Dash yang merupakan cabang dari Underscore.js dengan kinerja yang lebih baik.

Bilamana mungkin saya akan menggeser semua query ke backend di server (ke SQL DB atau tipe database asli lainnya). Alasannya adalah karena akan lebih cepat dan lebih dioptimalkan untuk melakukan kueri.

Saya tahu bahwa JSON dapat berdiri sendiri dan mungkin ada +/- untuk memiliki bahasa query tetapi saya tidak dapat melihat keuntungannya jika Anda mengambil data dari backend ke browser, karena sebagian besar kasus penggunaan JSON. Permintaan dan filter di backend untuk mendapatkan data sekecil yang diperlukan.

Jika karena alasan apa pun Anda perlu melakukan query di front-end (kebanyakan di browser) maka saya sarankan hanya menggunakan array.filter (mengapa menemukan sesuatu yang lain?).

Yang mengatakan apa yang saya pikir akan lebih bermanfaat adalah transformasi API untuk json ... mereka lebih berguna karena setelah Anda memiliki data, Anda mungkin ingin menampilkannya dalam beberapa cara. Namun, sekali lagi, Anda dapat melakukan banyak hal ini di server (yang bisa lebih mudah untuk skala) daripada pada klien - JIKA Anda menggunakan server <--> model klien.

Hanya senilai 2 pence saya!

Lihat https://github.com/niclasko/Cypher.js (catatan: Saya penulisnya)

Ini adalah implementasi Javascript nol-dependensi dari bahasa query basis data grafik Cypher bersama dengan basis data grafik. Ini berjalan di browser (diuji dengan Firefox, Chrome, IE).

Dengan relevansi dengan pertanyaan. Ini dapat digunakan untuk menanyakan titik akhir JSON:

load json from "http://url/endpoint" as l return l limit 10

Berikut adalah contoh permintaan dokumen JSON yang kompleks dan melakukan analisis di atasnya:

Contoh permintaan JSON Cypher.js

PythonQL menawarkan sintaks tertanam yang IMHO adalah perbaikan pada SQL, terutama karena group, window, where, let, dll dapat dengan bebas bercampur.

$ cat x.py
#coding: pythonql
data = [{"x": 2, "y": 0}, {"x": 3, "y": 1}, {"x": 4, "y": 1}]
q = [x match {'x': as x, 'y': as y} in data where y > 0]
print(sum(q))
print(list(q))

q = [x match {'x': as x, 'y': as y} as d in data where d['y'] > 0]
print(sum(q))

Kode ini menunjukkan dua jawaban berbeda untuk pertanyaan Anda, tergantung pada kebutuhan Anda untuk menangani seluruh struktur atau hanya nilainya. Eksekusi memberi Anda hasil yang diharapkan.

$ python x.py
7
[3, 4]
7

Anda bisa menggunakannya linq.js.

Ini memungkinkan untuk menggunakan agregasi dan pemilihan dari kumpulan data objek, seperti data struktur lainnya.

var data = [{ x: 2, y: 0 }, { x: 3, y: 1 }, { x: 4, y: 1 }];

// SUM(X) WHERE Y > 0     -> 7
console.log(Enumerable.From(data).Where("$.y > 0").Sum("$.x"));

// LIST(X) WHERE Y > 0    -> [3, 4]
console.log(Enumerable.From(data).Where("$.y > 0").Select("$.x").ToArray());

<script src="https://cdnjs.cloudflare.com/ajax/libs/linq.js/2.2.0.2/linq.js"></script>