Acar atau json?

Saya perlu menyimpan ke disk sebuah dictobjek kecil yang kuncinya berjenis strdan nilainya adalah ints dan kemudian memulihkannya . Sesuatu seperti ini:

{'juanjo': 2, 'pedro':99, 'other': 333}

Apa pilihan terbaik dan mengapa? Serialisasi dengan pickleatau dengan simplejson?

Saya menggunakan Python 2.6.

Jika Anda tidak memiliki persyaratan interoperabilitas (misalnya Anda hanya akan menggunakan data dengan Python) dan format biner baik-baik saja, gunakan cPickle yang memberi Anda serialisasi objek Python yang sangat cepat.

Jika Anda ingin interoperabilitas atau Anda ingin format teks untuk menyimpan data Anda, gunakan JSON (atau beberapa format lain yang sesuai tergantung pada batasan Anda).

Saya lebih suka JSON daripada acar untuk serialisasi saya. Pemisahan dapat menjalankan kode arbitrer, dan menggunakan pickleuntuk mentransfer data antar program atau menyimpan data antar sesi adalah celah keamanan. JSON tidak memperkenalkan celah keamanan dan sudah terstandarisasi, sehingga data dapat diakses oleh program dalam bahasa yang berbeda jika diperlukan.

Anda mungkin juga menganggap ini menarik, dengan beberapa bagan untuk dibandingkan: http://kovshenin.com/archives/pickle-vs-json-which-is-faster/

Jika Anda terutama mementingkan kecepatan dan ruang, gunakan cPickle karena cPickle lebih cepat daripada JSON.

Jika Anda lebih mementingkan interoperabilitas, keamanan, dan / atau keterbacaan manusia, gunakan JSON.

Hasil tes yang direferensikan dalam jawaban lain dicatat pada tahun 2010, dan tes yang diperbarui pada tahun 2016 dengan protokol cPickle 2 menunjukkan:

• cPickle 3.8x memuat lebih cepat
• cPickle 1.5x lebih cepat membaca
• cPickle encoding sedikit lebih kecil

Reproduksi ini sendiri dengan intisari ini , yang didasarkan pada tolok ukur Konstantin yang dirujuk dalam jawaban lain, tetapi menggunakan cPickle dengan protokol 2 alih-alih acar, dan menggunakan json daripada simplejson (karena json lebih cepat daripada simplejson ), misalnya

wget https://gist.github.com/jdimatteo/af317ef24ccf1b3fa91f4399902bb534/raw/03e8dbab11b5605bc572bc117c8ac34cfa959a70/pickle_vs_json.py
python pickle_vs_json.py

Hasil dengan python 2.7 pada prosesor Xeon 2015 yang layak:

Dir Entries Method  Time    Length

dump    10  JSON    0.017   1484510
load    10  JSON    0.375   -
dump    10  Pickle  0.011   1428790
load    10  Pickle  0.098   -
dump    20  JSON    0.036   2969020
load    20  JSON    1.498   -
dump    20  Pickle  0.022   2857580
load    20  Pickle  0.394   -
dump    50  JSON    0.079   7422550
load    50  JSON    9.485   -
dump    50  Pickle  0.055   7143950
load    50  Pickle  2.518   -
dump    100 JSON    0.165   14845100
load    100 JSON    37.730  -
dump    100 Pickle  0.107   14287900
load    100 Pickle  9.907   -

Python 3.4 dengan protokol acar 3 bahkan lebih cepat.

JSON atau acar? Bagaimana dengan JSON dan acar! Anda bisa menggunakan jsonpickle. Mudah digunakan dan file di disk dapat dibaca karena ini JSON.

http://jsonpickle.github.com/

Saya telah mencoba beberapa metode dan menemukan bahwa menggunakan cPickle dengan menetapkan argumen protokol metode dumps sebagai: cPickle.dumps(obj, protocol=cPickle.HIGHEST_PROTOCOL)adalah metode dump tercepat.

import msgpack
import json
import pickle
import timeit
import cPickle
import numpy as np

num_tests = 10

obj = np.random.normal(0.5, 1, [240, 320, 3])

command = 'pickle.dumps(obj)'
setup = 'from __main__ import pickle, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("pickle:  %f seconds" % result)

command = 'cPickle.dumps(obj)'
setup = 'from __main__ import cPickle, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("cPickle:   %f seconds" % result)


command = 'cPickle.dumps(obj, protocol=cPickle.HIGHEST_PROTOCOL)'
setup = 'from __main__ import cPickle, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("cPickle highest:   %f seconds" % result)

command = 'json.dumps(obj.tolist())'
setup = 'from __main__ import json, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("json:   %f seconds" % result)


command = 'msgpack.packb(obj.tolist())'
setup = 'from __main__ import msgpack, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("msgpack:   %f seconds" % result)

Keluaran:

pickle         :   0.847938 seconds
cPickle        :   0.810384 seconds
cPickle highest:   0.004283 seconds
json           :   1.769215 seconds
msgpack        :   0.270886 seconds

Secara pribadi, saya biasanya lebih suka JSON karena datanya dapat dibaca manusia . Tentunya, jika Anda perlu membuat serialisasi sesuatu yang tidak akan diambil JSON, daripada menggunakan acar.

Tetapi untuk sebagian besar penyimpanan data, Anda tidak perlu membuat serialisasi apa pun yang aneh dan JSON jauh lebih mudah dan selalu memungkinkan Anda untuk membukanya di editor teks dan memeriksa datanya sendiri.

Kecepatannya bagus, tetapi untuk sebagian besar kumpulan data perbedaannya dapat diabaikan; Python umumnya tidak terlalu cepat.