Pertanyaan yang diberi tag «data-storage»

Apakah ada alat yang dirancang khusus untuk mengompresi data ilmiah floating point? Jika suatu fungsi halus, jelas ada banyak korelasi antara angka-angka yang mewakili fungsi itu, sehingga data harus dikompres dengan baik. Zipping / gzipping data floating point biner tidak kompres dengan baik. Saya bertanya-tanya apakah ada metode yang khusus …

26 data-storage 

Saya telah menggunakan HDF5 selama bertahun-tahun, tetapi seiring dengan bertambahnya ukuran dataset, saya mulai mengalami masalah yang sama seperti yang tercantum di sini http://cyrille.rossant.net/moving-away-hdf5/ Bisakah Anda mengarahkan saya ke format seperti HDF5 dengan - Dukungan yang baik untuk penulisan paralel - Dukungan untuk akses chunked dari matriks besar Kasus penggunaan …

15 data-storage 

TL, DR Apa praktik terbaik yang diterima dalam lingkaran komputasi ilmiah untuk menyimpan sejumlah besar data terstruktur secara hierarkis? Sebagai contoh, SQL tidak bermain dengan baik dengan matriks jarang yang besar. Apakah ada alat yang bagus untuk penataan, pergudangan, dan analisis data seperti ini? Apa yang orang-orang di LHC gunakan? …

13 data-management  data-storage  data-analysis 

Saya tidak terbiasa dengan format file yang digunakan dalam HDF5, tetapi saya bertanya-tanya apakah file HDF5 cocok untuk kontrol revisi dengan git (atau misalnya Mercurial atau Subversion)? Saya kira apa yang saya maksud adalah: apakah file HDF5 cocok untuk perbedaan berbasis garis atau git harus memperlakukan HDF5 sebagai satu biner …

13 data-management  data-storage