Inilah pengalaman saya dengan MS Test
- Kami menjalankan MS Test dengan sekitar 3800 Test.
- Diperlukan waktu sangat lama untuk pengujian baru mulai dijalankan, yang menyakitkan saat menjalankan pengujian tunggal.
- Dibutuhkan sekitar 1GB Memori untuk menjalankan tes. Tidak, ini bukan karena kebocoran memori dalam pengujian kami. Seringkali kami mengalami OutOfMemoryExceptions.
- Karena menggunakan banyak sumber daya, kami mulai menjalankan pengujian dari file batch. Jadi, apa manfaat keseluruhan integrasi?
- Ini buggy dan tidak stabil:
- Misalnya, jika Anda menghapus Atribut [Abaikan] dari sebuah pengujian, ia tidak mengenalinya, karena ia menyimpan informasi tentang pengujian di suatu tempat. Anda perlu menyegarkan daftar pengujian, yang terkadang memecahkan masalah, atau memulai ulang VS.
- Itu secara acak tidak menyalin rakitan referensi ke direktori keluar.
- Item Deployment (file tambahan untuk digunakan) tidak berfungsi dengan baik. Mereka diabaikan secara acak.
- Ada informasi tersembunyi (tidak terlihat dalam kode pengujian) di file vsmdi dan testrunconfig. Jika Anda tidak peduli, itu mungkin tidak berhasil.
- Secara fungsional mungkin sebanding dengan NUnit, tetapi sangat mahal jika Anda mempertimbangkan untuk menggunakan edisi penguji VS.
Penambahan: Kami memiliki beberapa tes lagi sekarang, bahkan tidak bisa mengatakan berapa banyak. Tidak mungkin untuk menjalankan semuanya lagi dari Visual Studio, karena OutOfMemoryExceptions dan masalah ketidakstabilan lainnya. Kami menjalankan tes dari skrip. Akan mudah untuk melihat hasil tes di Visual Studio, tetapi ketika solusi terbuka, VS lumpuh (setiap saat). Jadi kita perlu mencari tes yang gagal menggunakan pencarian teks. Tidak ada lagi keuntungan dari alat terintegrasi.
Pembaruan Lain : Kami menggunakan VS 2013 sekarang. Banyak hal berubah. Mereka menulis ulang runner uji MS Test untuk ketiga kalinya sejak kami mulai. Hal ini menyebabkan banyak perubahan yang merusak, tetapi tidak ada versi baru yang bekerja lebih baik. Kami senang bahwa kami tidak menggunakan fitur-fitur canggih dari MS Test, karena semuanya tidak lagi didukung. Sungguh memalukan. Kami masih menggunakan skrip untuk membangun dan menjalankan semua pengujian unit, karena ini lebih mudah. Visual Studio memerlukan beberapa menit untuk mulai menjalankan tes (pengukuran waktu setelah kompilasi hingga tes pertama dimulai). Mereka mungkin memperbaikinya dengan pembaruan dan ini mungkin masalah khusus proyek kami. Namun, Resharper jauh lebih cepat saat menjalankan pengujian yang sama.
Kesimpulan : Setidaknya dalam kombinasi dengan Resharper, MS Test berguna. Dan saya berharap mereka akhirnya mengetahui bagaimana test runner harus ditulis dan tidak akan melakukan perubahan yang merusak seperti ini ketika kita memperbarui Visual Studio di lain waktu.