Bagaimana mencegah orang awam untuk menarik kesimpulan yang tidak akurat tentang data mereka?

Saya bekerja sebagai analis data, terutama dalam SQL, menyediakan data operasi untuk pelanggan internal. Saya jarang melakukan analisis statistik.

Baru-baru ini, pelanggan internal datang kepada saya dengan data dari proyek yang dirancang dengan buruk (tidak ada kelompok kontrol, tidak ada metodologi yang direncanakan, dll) dan meminta saya untuk melakukan analisis data pada hasil mereka sehingga mereka dapat menggunakannya untuk membentuk praktik bisnis mereka.

"Studi" sangat sederhana, dilaksanakan oleh orang-orang yang tidak memiliki pengetahuan tentang metode penelitian atau statistik, dan mencoba untuk mempengaruhi praktik bisnis yang penting. Saya tidak dapat melakukan analisis statistik karena itu tidak dirancang sejak awal.

Sumber daya apa yang bisa saya tunjuk untuk memberi tahu "studi" mereka tidak dapat digeneralisasi di luar populasi yang terlibat? Bahasa apa yang saya gunakan untuk ini?

Saya berharap Anda telah memberikan rincian lebih lanjut dalam pertanyaan Anda, tetapi saya hanya akan menjawabnya dengan informasi apa pun yang Anda berikan.

Saya pikir itu tidak mungkin bahwa mereka akan kembali dan benar-benar meneliti "sumber daya" yang Anda sarankan, jadi Anda mungkin lebih baik membaca tentang ini sendiri dan mencoba menjelaskannya dengan contoh. Anda dapat memberikan penjelasan singkat tentang bagaimana mereka dapat merancang percobaan di tempat pertama, mungkin dengan contoh pengujian A / B (lihat di wikipedia), dan bagaimana sangat penting bahwa sampel tersebut mewakili populasi. Tautan: https://en.wikipedia.org/wiki/Design_of_experiments

Juga, daftar beberapa kemungkinan perangkap menarik kesimpulan dari eksperimen yang secara statistik tidak sehat akan membantu mereka memahami maksud Anda. Tautan: http://www.ch.embnet.org/CoursEMBnet/Arrays06/files/arrays06_ExpDes2.pdf