Buku teks / bacaan tentang apa yang harus dilakukan ketika Anda tidak dapat membuat percobaan yang ideal?

Pelatihan statistik saya berakar pada statistik matematika, dan mengambil metode-metode ini dalam MS saya sedikit mengejutkan saat ini; Saat ini sulit bagi saya untuk dapat memahami beberapa metode "terapan" ini karena saya kurang berpengalaman dalam industri ini.

Salah satu topik yang telah kita bicarakan di kelas metode saya adalah ide desain eksperimental.

Katakanlah, misalnya, saya ingin melakukan percobaan pada efektivitas pada program pendidikan yang mengklaim dapat meningkatkan nilai tes siswa K-12.

Di kelas metode, mereka telah mengajarkan yang berikut untuk mengejar masalah seperti: pastikan Anda memiliki pertanyaan penelitian yang baik, metode pengumpulan data yang baik, percobaan acak, kelompok perlakuan homogen (yaitu, satu yang dirawat dengan program ini, satu mungkin tidak) idealnya berukuran sama, dan kemudian menjalankan uji- (atau semacam uji hipotesis nonparametrik), dan semuanya baik-baik saja dan keren, bukan?$t$

Saya memiliki sedikit keyakinan bahwa ini adalah cara kerjanya dalam kenyataan.

Saya telah belajar bahwa, tentu saja, Anda mungkin harus melakukan convenience sampling. Tapi selain itu, saya tidak tahu bagaimana menerapkan desain eksperimental selain apa yang saya pelajari dari buku teks.

Apakah ada buku teks, bacaan, dll. Yang mengeksplorasi masalah ini dalam praktiknya (dan idealnya, jangan mengabaikan matematika - saya tidak perlu bukti rinci tentang semuanya, tetapi saya tidak ingin diberi tahu bahwa semuanya adalah " jelas, "misalnya)?

Ada dua bidang di mana eksperimen acak hampir selalu tidak mungkin: mereka adalah ilmu sosial dan ekonomi. Dalam hal ini, Anda hanya dapat melakukan "eksperimen semu". Coba cari dengan eksperimen semu kata kunci , studi observasional dan ilmu sosial ; Anda akan mendapatkan beberapa buku teks yang bagus. Saya dapat merekomendasikan dua buku bagus tentang hal ini: buku kedua oleh Shadish and Cook adalah buku klasik:

1. Counterfactuals dan Inferensial Kausal: Metode dan Prinsip untuk Penelitian Sosial Oleh Morgan dan Winship
2. Desain Eksperimental dan Kuasi-Eksperimental untuk Inferensial Penyebab Umum oleh William R. Shadish dan Thomas D. Cook

Sebuah makalah klasik yang menggunakan teknik yang disebut "pencocokan skor kecenderungan" dalam pengaturan non eksperimental untuk inferensial kausal oleh Dehejia dan Wahba juga sangat dianjurkan.

Rekomendasi tambahan:

1. Desain Studi Observasional oleh Paul R. Rosenbaum.
2. Kesimpulan Kausal untuk Statistik, Sosial, dan Ilmu Biomedis: Pengantar oleh Imbens dan Rubin

JIKA Anda sedang melihat eksperimen kuasi seri waktu, buku-buku di atas memiliki beberapa bab yang ditujukan untuk mereka, tetapi buku khusus adalah oleh Gene v. Desain Kaca dan Analisis Eksperimen Seri-Waktu dan saya akan memeriksa artikelnya Seri waktu terputus .

Trivia: Gene V Glass menciptakan istilah " Analisis Meta ".

Di sinilah desain quasiexperimental dapat berguna. Dalam banyak situasi dalam praktik, desain eksperimental tidak praktis karena, meskipun Anda memiliki perawatan, Anda tidak dapat melakukan tugas acak ke grup atau mungkin Anda hanya memiliki satu grup.

Dalam contoh pendidikan Anda, Anda mungkin tidak memiliki kendali atas siapa yang menerima perawatan karena Anda bermaksud untuk melakukan intervensi kepada semua anak di satu sekolah. Namun, Anda mungkin dapat membandingkan skor mereka dengan skor dari tahun-tahun sebelumnya, atau mengacak ruang kelas sehingga beberapa kelas menerima intervensi sebelum yang lain, atau membandingkan beberapa sekolah termasuk yang tidak menerima intervensi.

Mungkin masuk akal untuk melakukan desain seri waktu yang terputus di mana Anda hanya memiliki satu kelompok, tetapi lakukan pengukuran secara terus-menerus, dan berikan perawatan di tengah durasi studi Anda. Dengan cara ini, Anda dapat melihat apakah kemiringan variabel dependen dari waktu ke waktu berubah tepat setelah perawatan, relatif terhadap kemiringan keseluruhan di seluruh studi. Jumlah pengukuran bisa serendah 3, tetapi lebih banyak lebih baik.

Jadi, saran saya adalah membaca desain penelitian quasiexperimental.

Perlakuan kausalitas yang paling menyeluruh, umum, dan tepat adalah Judea Pearl 2009, "Kausalitas", edisi kedua, Cambridge University Press.

Terutama, menjelaskan bahwa kausalitas sebenarnya bukan masalah statistik - bahkan data tidak terbatas tidak menyelesaikannya. Ini memperkenalkan bahasa yang tepat untuk mengekspresikan pengetahuan kualitatif dan teoritis yang diperlukan untuk inferensial kausal ketika sesuatu tentang data itu kurang optimal. Anda akan melihat bahwa pengacakan yang gagal hanyalah satu masalah di antara banyak hal. Ini juga merangkum semua kerangka matematika lainnya, misalnya yang oleh Imbens, Rubin, dan Rosenbaum. Saya tidak bisa melebih-lebihkan seberapa mudah diakses, elegan dan kuat pendekatannya.

Saya sangat merekomendasikannya. Namun, Anda harus membacanya dengan cara non-linear (bab 5 dan 11 lebih mudah diakses, dan kemudian Anda dapat bekerja mundur melalui bab 1, 3, dan 7 untuk memahami teori umum).

Ketika Anda telah memahami dasar-dasarnya, Anda dapat dengan mudah melihat kemajuan yang lebih baru, misalnya ketika dimungkinkan untuk "mengangkut" temuan kausal dari satu konteks ke konteks lainnya, yang tidak selalu mungkin dilakukan walaupun dengan pengacakan (Pearl, Judea, dan Elias Bareinboim 2014, "Validitas eksternal: Dari do-calculus hingga transportability lintas populasi." Ilmu Statistik).

Mungkin ini yang Anda cari ...

Statistik untuk Eksperimen

Desain dan Analisis Eksperimen

Desain dan Analisis Eksperimen dengan R (tidak terkait dengan judul sebelumnya)

Peningkatan Proses menggunakan Data (online gratis atau dalam bentuk PDF, bab 5 mencakup DoE)