Mengapa data yang sama membutuhkan lebih banyak ruang dalam file teks daripada dalam file Excel?

Saya memiliki sekitar 100.000 baris data. Jika saya menyimpan data ini dalam format file teks, dibutuhkan lebih banyak ruang daripada jika saya menyimpannya dalam format file Excel. Mengapa demikian?

The xlsxFormat digunakan oleh Excel yang modern sebenarnya adalah format kompresi. Ini adalah arsip ZIP yang berisi file teks (XML) dalam struktur tertentu.

Jika Anda mengompres file teks biasa dengan alat kompresi ZIP yang serupa, Anda harus mencapai ukuran file yang serupa.

Selain itu, seperti yang disebutkan oleh Bradley Uffner dan Morgen dalam komentar, Excel akan mendupuplikasi string yang identik dan hanya menyimpan satu salinannya. Saya tidak yakin tentang keuntungan pasti dari metode seperti itu, dan itu akan tergantung pada set data Anda, tetapi kompresi zip sederhana mungkin akan membuat Anda mendapatkan sebagian besar perjalanan ke sana. ¹

9.1.3 Paket Fisik

Setiap dokumen Office Open XML diimplementasikan sebagai arsip ZIP.

- ECMA-376-1: 2016

¹ Dugaan saya adalah bahwa deduplikasi ini paling efektif ketika Anda memiliki beberapa lembar kerja, karena kompresi zip berlaku secara independen untuk setiap file dalam arsip dan hanya pada bagian data yang terbatas pada satu waktu - dengan menyimpan semua string bersama dalam satu file, ada harus bermanfaat untuk kompresi nanti. Lebih praktisnya, jika format teks biasa Anda dalam satu file saja maka mungkin akan ada sedikit perbedaan.

Jawaban yang diberikan benar, itu karena Excel menyimpan data Anda sebagai xml. Ini juga karena ini, bahwa menyortir data Anda secara efisien juga akan mengurangi ukuran file. Uji sendiri - katakan Anda memiliki data seperti

A            B                              C
John         Smith-Johnson-Williamson       12345
Sally        Smith-Johnson-Williamson       67890
John         Williams                       34567

Jika Anda mengurutkan berdasarkan C (kolom dengan semua atau hampir semua nilai unik) saja, maka nilai B yang identik tidak akan berdekatan. Dalam xml Excel tampilannya seperti ini:

<12345><John><Smith-Johnson-Williamson>
<34567><John><Williams>
<67890><Sally><Smith-Johnson-Williamson>

Jika Anda mengurutkan berdasarkan B (kolom dengan nilai umum), maka nilai yang identik berdekatan. Dalam xml Excel tampilannya seperti ini:

<Smith-Johnson-Williamson><John><12345>
  <Sally><67890>
<Williams><John><34567>

Karena string panjang itu identik dan berdekatan, Excel tahu itu bisa mengemasnya bersama, mirip dengan ketika orang menulis daftar, dan untuk mengulangi bagian dari baris di atas, mereka mengetikkan kutipan daripada menulis ulang hal yang sama. Saya tidak menemukan bukti kamus bersama-string dalam penyelidikan saya - hanya lekukan ini sebagai pengganti nilai bidang yang diulang.

Saya memiliki milis dari 250.000 pelanggan di hanya 11 negara bagian, dan pada setiap catatan ada bidang yang merupakan salah satu dari dua string yang mengidentifikasi penawaran yang mereka dapatkan. Entah mengapa karyawan kami terbiasa mencari orang berdasarkan alamat jalan mereka seperti yang diucapkan, jadi itu diurutkan pada kolom nomor jalan, lalu nama jalan, kota, dll ... ketika saya menggunakan penawaran terlebih dahulu, kemudian menyatakan, kode pos, kota, nama jalan, nomor jalan, dan akhirnya address-line-2, ukuran file berkurang secara luar biasa. Saya memeriksa xml unpacked pada file yang disortir setiap cara untuk melihat apa yang sedang terjadi, dan di atas adalah apa yang saya simpulkan. Jika ada beberapa bidang dengan lebih dari katakan 5 karakter, tetapi nilainya adalah kumpulan terbatas (misalnya, disposisi tiket seperti 'diselesaikan', 'ditolak', 'disetujui', dll),

Jika Anda memiliki angka seperti 3,14159265359, Anda perlu 13 byte untuk menyimpan ini dalam file teks; jika Anda menyimpan nomor ini sebagai pelampung, Anda hanya perlu 4 byte.