Mencari ilustrasi nyata dari kutipan Fisher tentang DoE

Tim saya dan saya ingin memberikan presentasi kepada non-ahli statistik perusahaan tentang kegunaan desain percobaan. Non-ahli statistik ini juga adalah klien kami dan mereka biasanya tidak berkonsultasi dengan kami sebelum mengumpulkan data mereka. Apakah Anda tahu beberapa contoh nyata yang akan menggambarkan kutipan terkenal Fisher "Untuk memanggil ahli statistik setelah percobaan dilakukan mungkin tidak lebih dari memintanya untuk melakukan pemeriksaan post-mortem: ia hanya mungkin dapat mengatakan apa percobaan itu mati dari." ? Lebih disukai kita mencari ilustrasi dalam konteks industri / farmasi / biologis. Kami memikirkan contoh analisis statistik yang tidak meyakinkan yang bisa berhasil jika dirancang dengan baik, tetapi mungkin ada ilustrasi lain yang mungkin.

Saya telah bertemu dengan desain di mana eksperimen ingin menguji antara efek subjek tetapi desain lebih cocok untuk dalam efek subjek.

Sebagai contoh, satu percobaan terdiri dari 8 tikus, empat pada diet A dan empat pada diet B, dan berat tikus diukur setiap hari selama empat minggu. Ini baik-baik saja jika mereka tertarik pada efek waktu dari setiap diet tetapi tujuannya adalah untuk menyelidiki perbedaan dalam diet.

Mereka berpikir dengan mengukur setiap tikus 28 kali mereka memiliki banyak data, tetapi unit percobaan untuk efek diet adalah tikus, yang mereka hanya punya 4 untuk setiap perlakuan. Mereka bisa mengukur tikus 10 kali sehari tetapi tidak ada bedanya, pada akhirnya mereka membutuhkan lebih banyak tikus.

Saya melakukan beberapa pekerjaan untuk sebuah organisasi bernama National Foundation for Celiac Awareness. Organisasi ini mempromosikan kesadaran publik tentang Penyakit Celiac dan menyediakan daftar periksa gejala penyakit yang melibatkan intoleransi terhadap makanan yang mengandung gluten. Mereka melakukan survei di internet dengan hanya membukanya bagi siapa saja yang ingin berpartisipasi. Selama bertahun-tahun mereka mengumpulkan ribuan tanggapan dari publik. Namun mereka berharap dapat menarik kesimpulan tentang masyarakat umum berdasarkan hasil survei. Saya harus mengatakan kepada mereka bahwa responden dipilih sendiri daripada acak dan ini bisa membuat bias. Karena tingkat bias tidak diketahui, kami tidak dapat melakukan inferensi terlepas dari besarnya jumlah data.

Sekarang para responden tampaknya merupakan kelompok yang aneh. Banyak yang sangat serius dan menjawab untuk menyatakan keprihatinan bahwa mereka atau saudara mereka mungkin menderita penyakit ini. Tetapi ada juga sejumlah orang yang menjawab dengan cara yang bijak. Ini jelas dari nama-nama palsu, alamat email aneh dan alamat pos yang mereka berikan dengan jawaban mereka.

Saya merasa bahwa data hanya berguna dalam arti eksplorasi dan frekuensi tanggapan mungkin berguna untuk membuat hipotesis yang dapat diuji dalam survei yang direncanakan dengan baik di masa depan. Namun sejauh ini saran saya belum diperhatikan dan mereka menjalankan salah satu dari survei pemilihan mandiri yang mudah dilakukan di internet.

Beberapa waktu yang lalu saya diminta untuk menganalisis hasil percobaan tentang bagaimana posisi penyimpanan malam array surya fotovoltaik mempengaruhi laju akumulasi tanah pada array. (Array fotovoltaik konsentrasi besar ini melacak matahari sepanjang hari, tetapi pada malam hari mereka biasanya disimpan menunjuk ke atas, karena ini adalah posisi tegangan minimum untuk pelacak.) Pengotoran adalah masalah besar, karena secara signifikan mengurangi produksi energi, dan pembersihan itu tidak murah. Percobaan telah dijalankan di bidang yang terdiri dari sekitar 120 pelacak; bagian barat telah disimpan secara vertikal dan bagian timur secara horizontal (ini disejajarkan dengan koneksi pelacak ke dua inverter, yang akan memberikan keuntungan dalam produksi energi selama percobaan jika ada efek yang signifikan dan tidak ada pola kekotoran tertentu, jadi ini bukan,

Sayangnya, ada pola angin yang kuat melintasi padang pasir dari selatan-barat daya, dan sebuah bangunan besar di selatan bagian barat lapangan, "menaungi" (agak) sebagian besar bagian barat lapangan dari partikulat tertiup angin . Selain itu, pelacak saling "menaungi" dari angin sampai batas tertentu. Akibatnya, mekanisme yang menumpuk tanah (misalnya, tertiup angin atau menetap) bervariasi dalam besarnya relatif di seluruh lapangan. Ini pada gilirannya menyiratkan bahwa susunan mengumpulkan tanah pada tingkat yang berbeda tergantung pada lokasi; ini bukan efek kecil.

Hasil akhir dari analisis adalah, pada dasarnya, bahwa tidak masuk akal bahwa posisi penyimpanan membuat perbedaan, tetapi kami tidak bisa, dengan cara apa pun, mengesampingkan kemungkinan bahwa efeknya sepele, atau menentukan dengan keyakinan besar (berdasarkan pada data) tanda efeknya. Saya kemudian merancang percobaan tindak lanjut, menetapkan posisi penyimpanan berdasarkan lokasi array dengan tujuan dapat memperkirakan "permukaan respons" yang kotor di seluruh lapangan untuk kedua posisi penyimpanan, memperkirakan tingkat tanah "menetap" vs kecepatan angin "tertiup angin", dan tentu saja efek sudut penyimpanan pada kedua hal ini. Eksperimen ini cukup berhasil dan kami dapat memperoleh gambaran yang jelas tentang manfaat stow vertikal setelah hanya beberapa bulan.

Saya diminta oleh seorang kolega untuk 'melakukan statistik' pada studi yang mengamati korelasi antara jenis peristiwa cuaca tertentu dan kegagalan dalam jenis infrastruktur yang biasanya dikaitkan dengan keausan sederhana. Rekannya ingin melihat apakah peristiwa cuaca benar-benar berkontribusi pada kegagalan atau tidak. Sebuah tim orang telah menghabiskan banyak waktu dan upaya mengumpulkan sejumlah besar data dan makalah penelitian selesai, mereka hanya membutuhkan seseorang untuk 'melakukan statistik' dan mengisi bagian akhir dari bagian hasil.

Masalahnya adalah, mereka dengan susah payah memastikan bahwa kumpulan data hanya berisi periode 'menarik' di mana peristiwa cuaca tersebut terjadi. Itu berarti tidak ada cara untuk membandingkan tingkat kegagalan selama acara dengan waktu non-acara. Saya mencoba berulang kali untuk menjelaskan masalahnya, tetapi mereka tidak pernah benar-benar yakin, karena hanya punya begitu banyak data yang pasti saya bisa mendapatkan sesuatu dari itu.

Untungnya masih ada berbagai tingkat keparahan peristiwa cuaca dan ada korespondensi yang lemah antara tingkat keparahan dan tingkat kegagalan, jadi kami setidaknya menyelamatkan sesuatu dari itu, tetapi hasilnya bisa jauh lebih definitif seandainya mereka berpikir tentang bagaimana cara 'lakukan statistik' sebelum memulai latihan pengumpulan data.