Bisakah satu meninggalkan data dari penelitian karena itu tidak signifikan?

Saya mengalami kalimat ini ketika membaca artikel di sciencemag.org .

Pada akhirnya, tanggapan dari hanya 7600 peneliti di 12 negara dimasukkan karena data yang tersisa tidak dianggap signifikan secara statistik.

Apakah ini cara yang tepat untuk melakukan penelitian? Untuk meninggalkan hasil karena mereka tidak dianggap signifikan secara statistik?

Dalam laporan yang dikutip dalam komentar whuber, tertulis di halaman 104 [hal 114 dalam pdf]:

Survei ini berhasil mengaktifkan partisipasi sekitar 8.900 kandidat doktoral dari lebih dari 30 negara ...

Kemudian, mencakup halaman 104-105, dikatakan:

Saat melakukan prosedur pembersihan data, tim ahli survei Eurodoc memutuskan untuk menjalankan analisis uji daya. Berdasarkan asumsi kuesioner yang lengkap yang akan menghasilkan distribusi multi normal, tes daya untuk estimasi interval kepercayaan digunakan. Ini dilakukan untuk menguji keakuratan data. Diputuskan untuk menerima tingkat kesalahan maksimum 6% pada interval kepercayaan 95%. Hilangnya 16% dari ukuran pengambilan sampel menghasilkan sampel dari 12 negara yang berpartisipasi dengan 7.600 peserta.

Jadi itu tidak benar-benar jelas mengapa kehilangan 16% dalam sampel, tetapi asumsi tanggapan tidak lengkap kemungkinan benar. (Dan Anda dapat melihat mengapa reporter itu bingung.)

Kalimat itu sebenarnya tidak masuk akal dan jelas salah.

Data tidak bisa signifikan secara statistik atau tidak signifikan. Hanya hubungan antara data, produk dari uji statistik, yang dapat dibicarakan dalam istilah-istilah ini.

Jika pertanyaannya adalah: Bisakah kita membuang data dari analisis kita karena dimasukkannya data itu berarti kita tidak bisa menolak hipotesis nol? Jawabannya - jelas, saya harap! - tidak . Pesan yang Anda kutip adalah laporan berita, bukan karya ilmiah. Seandainya sebuah makalah yang ditinjau, tidak akan pernah bisa masuk.

Mungkin, data tidak dimasukkan karena ada alasan substantif untuk tidak memasukkan data tersebut. Mungkin, seperti yang orang lain sarankan, data yang dikecualikan tidak lengkap atau dikumpulkan menggunakan metode yang berbeda atau tidak ada bandingannya.

Tidak.

Saya menduga wartawan itu bermaksud mengatakan bahwa orang-orang lain ditinggalkan karena survei tidak lengkap atau tidak konsisten secara internal.

Tidak, tetapi wartawan dapat menggunakan jargon teknis sepenuhnya secara tidak masuk akal.