Apa cara tercepat untuk membuat checksum untuk file besar di C #

Saya harus menyinkronkan file besar di beberapa mesin. Ukuran file bisa hingga 6GB. Sinkronisasi akan dilakukan secara manual setiap beberapa minggu. Saya tidak dapat mempertimbangkan nama file karena mereka dapat berubah kapan saja.

Rencana saya adalah membuat checksum pada PC tujuan dan pada PC sumber dan kemudian menyalin semua file dengan checksum, yang belum ada di tujuan, ke tujuan. Upaya pertama saya adalah seperti ini:

using System.IO;
using System.Security.Cryptography;

private static string GetChecksum(string file)
{
    using (FileStream stream = File.OpenRead(file))
    {
        SHA256Managed sha = new SHA256Managed();
        byte[] checksum = sha.ComputeHash(stream);
        return BitConverter.ToString(checksum).Replace("-", String.Empty);
    }
}

Masalahnya adalah runtime:
- dengan SHA256 dengan File 1,6 GB -> 20 menit
- dengan MD5 dengan File 1,6 GB -> 6,15 menit

Apakah ada cara yang lebih baik - lebih cepat - untuk mendapatkan checksum (mungkin dengan fungsi hash yang lebih baik)?

Masalahnya di sini adalah yang SHA256Managedmembaca 4096 byte pada suatu waktu (mewarisi dari FileStreamdan menimpaRead(byte[], int, int) untuk melihat berapa banyak yang dibaca dari filestream), yang merupakan buffer terlalu kecil untuk disk IO.

Untuk mempercepat hal-hal (2 menit untuk hashing berkas 2 Gb pada mesin dengan SHA256, 1 menit untuk MD5) bungkus FileStreamdi BufferedStreamdan set berukuran cukup ukuran buffer (saya mencoba dengan ~ 1 Mb buffer):

// Not sure if BufferedStream should be wrapped in using block
using(var stream = new BufferedStream(File.OpenRead(filePath), 1200000))
{
    // The rest remains the same
}

Jangan checksum seluruh file, buat checksum setiap 100mb, jadi setiap file memiliki koleksi checksum.

Kemudian ketika membandingkan checksum, Anda dapat berhenti membandingkan setelah checksum berbeda pertama, keluar lebih awal, dan menyelamatkan Anda dari pemrosesan seluruh file.

Masih perlu waktu penuh untuk file yang identik.

Seperti yang dicatat Anton Gogolev , FileStream secara default membaca 4096 byte, tetapi Anda bisa menentukan nilai lain menggunakan konstruktor FileStream:

new FileStream(file, FileMode.Open, FileAccess.Read, FileShare.ReadWrite, 16 * 1024 * 1024)

Perhatikan bahwa Brad Abrams dari Microsoft menulis pada tahun 2004:

tidak ada manfaat dari membungkus BufferedStream di sekitar FileStream. Kami menyalin logika buffering BufferedStream ke FileStream sekitar 4 tahun yang lalu untuk mendorong kinerja default yang lebih baik

sumber

Aktifkan port windows dari md5sum.exe . Ini sekitar dua kali lebih cepat dari implementasi .NET (setidaknya pada komputer saya menggunakan file 1,2 GB)

public static string Md5SumByProcess(string file) {
    var p = new Process ();
    p.StartInfo.FileName = "md5sum.exe";
    p.StartInfo.Arguments = file;            
    p.StartInfo.UseShellExecute = false;
    p.StartInfo.RedirectStandardOutput = true;
    p.Start();
    p.WaitForExit();           
    string output = p.StandardOutput.ReadToEnd();
    return output.Split(' ')[0].Substring(1).ToUpper ();
}

Oke - terima kasih untuk Anda semua - izinkan saya menyelesaikannya:

1. menggunakan exe "asli" untuk melakukan hashing membutuhkan waktu dari 6 Menit hingga 10 Detik yang sangat besar.
2. Meningkatkan buffer bahkan lebih cepat - file 1.6GB butuh 5,2 detik menggunakan MD5 di .Net, jadi saya akan menggunakan solusi ini - terima kasih lagi

Saya melakukan tes dengan ukuran buffer, menjalankan kode ini

using (var stream = new BufferedStream(File.OpenRead(file), bufferSize))
{
    SHA256Managed sha = new SHA256Managed();
    byte[] checksum = sha.ComputeHash(stream);
    return BitConverter.ToString(checksum).Replace("-", String.Empty).ToLower();
}

Dan saya menguji dengan file berukuran 29½ GB, hasilnya

• 10.000: 369.224
• 100.000: 362,55s
• 1.000.000: 361,53d
• 10.000.000: 434.15d
• 100.000.000: 435.15d
• 1.000.000.000: 434,31d
• Dan 376.222 ketika menggunakan kode asli, tidak ada buffered.

Saya menjalankan CPU i5 2500K, ram 12 GB, dan drive SSD OCZ Vertex 4 256 GB.

Jadi saya pikir, bagaimana dengan hard drive 2TB standar. Dan hasilnya seperti ini

• 10.000: 368,52s
• 100.000: 364.15d
• 1.000.000: 363,06 dtk
• 10.000.000: 678,96s
• 100.000.000: 617,89s
• 1.000.000.000: 626,86s
• Dan untuk tidak ada buffer 368,24

Jadi saya akan merekomendasikan tidak ada buffer atau buffer max 1 mill.

Anda melakukan sesuatu yang salah (mungkin buffer baca terlalu kecil). Pada mesin usia yang tidak senonoh (Athlon 2x1800MP dari 2002) yang memiliki DMA pada disk mungkin rusak (6,6M / s sangat lambat ketika melakukan pembacaan berurutan):

Buat file 1G dengan data "acak":

# dd if=/dev/sdb of=temp.dat bs=1M count=1024    
1073741824 bytes (1.1 GB) copied, 161.698 s, 6.6 MB/s

# time sha1sum -b temp.dat
abb88a0081f5db999d0701de2117d2cb21d192a2 *temp.dat

1m5.299d

# time md5sum -b temp.dat
9995e1c1a704f9c1eb6ca11e7ecb7276 *temp.dat

1m58.832s

Ini juga aneh, MD5 secara konsisten lebih lambat daripada SHA1 bagi saya (reran beberapa kali).

Saya tahu bahwa saya terlambat ke pesta tetapi melakukan tes sebelum benar-benar menerapkan solusi.

Saya melakukan tes terhadap kelas MD5 inbuilt dan juga md5sum.exe . Dalam kasus saya, kelas inbuilt mengambil 13 detik di mana md5sum.exe juga sekitar 16-18 detik dalam setiap menjalankan.

    DateTime current = DateTime.Now;
    string file = @"C:\text.iso";//It's 2.5 Gb file
    string output;
    using (var md5 = MD5.Create())
    {
        using (var stream = File.OpenRead(file))
        {
            byte[] checksum = md5.ComputeHash(stream);
            output = BitConverter.ToString(checksum).Replace("-", String.Empty).ToLower();
            Console.WriteLine("Total seconds : " + (DateTime.Now - current).TotalSeconds.ToString() + " " + output);
        }
    }

Anda dapat melihat XxHash.Net ( https://github.com/wilhelmliao/xxHash.NET )
Algorythm xxHash tampaknya lebih cepat daripada yang lainnya.
Beberapa patokan di situs xxHash: https://github.com/Cyan4973/xxHash

PS: Saya belum pakai.