Praktik yang baik untuk analisis statistik dalam lingkungan bisnis

(Walaupun saya menyadari ini bukan semata-mata tentang statistik, ini adalah tentang penyebaran statistik dalam lingkungan bisnis, jadi saya berasumsi ini masih dalam kisaran topik CV)

Sedikit latar belakang singkat:

Lingkungan bisnis kami (dan saya menduga lingkungan lain) memiliki fungsi pendukung yang berspesialisasi dalam analisis statistik dan penelitian. Kami bekerja erat dengan Business Intelligence dan ditugaskan oleh departemen lain untuk menghasilkan karya. Akibatnya, data, analisis, dan kesimpulan bukan milik kami: kami mengumpulkan data, melakukan analisis, dan menarik kesimpulan untuk digunakan oleh komisioner dalam pekerjaan mereka.

Apa yang ingin saya lakukan:

Saat ini, kami menjalankan pendekatan yang cukup laissez-faire. Seorang individu dari fungsi dukungan ditugaskan ketika pekerjaan ditugaskan, data dikumpulkan (atau diekstraksi, jika ada, oleh Business Intelligence), dianalisis dan set kesimpulan akhir dikirim ke komisaris. Ini telah dibenarkan secara longgar atas dasar bahwa itu bukan peran komisaris untuk membaca analisis; itu adalah peran kami sebagai fungsi pendukung untuk memastikan kami memberikan analisis yang tepat untuk pertanyaan / topik yang ingin dijelajahi oleh komisaris.

Saya ingin meminta sedikit lebih banyak struktur pada pendekatan yang dibuat

a) analisis kami tentang kualitas yang lebih tinggi;

b) memberikan defensibilitas ketika analisis kami dapat menyebabkan keputusan yang buruk; dan membuat

c) analisis kami lebih transparan sehingga kami tidak dipandang sebagai 'kotak hitam' yang mengambil data dan mengeluarkan hasilnya.

Pikiran awal saya adalah:

1. Buat dokumen teknis dengan setiap karya yang membenarkan pendekatan yang diambil, asumsi yang dibuat, masalah yang ditemukan, ketidakpastian yang ada dll. Meskipun ini tidak harus dibaca oleh semua orang, itu harus digunakan sebagai sarana untuk menjelaskan kepada Komisaris konsekuensi dari menggunakan kesimpulan yang ditarik. Ini memindahkan sebagian risiko ke tempat yang seharusnya berada: dengan komisaris.

2. Batasi semua analisis untuk paket seperti Stata, SPSS atau R dan memerlukan set kode lengkap untuk diproduksi di samping dokumen teknis. Kita semua memiliki kebiasaan menggunakan Microsoft Excel untuk beberapa jenis analisis (kebiasaan buruk lebih dari apa pun). Namun, Excel tidak mempromosikan analisis yang mudah direproduksi. Ini membantu mempertahankan fungsi dukungan ketika analisis kami dipertanyakan, menciptakan transparansi dalam pendekatan kami, tetapi juga membuat peran (3) lebih mudah:

3. Tetapkan peninjau untuk setiap karya yang harus 'menandatangani' pekerjaan sebelum dikirim ke komisaris. Dengan menandatangani, itu mendistribusikan integritas analisis di 2 orang dan mendorong mereka untuk bekerja sama (2 kepala lebih baik dari 1). Ini harus meningkatkan kualitas analisis dan juga memberikan defensibilitas.

Adakah aspek lain dari praktik yang baik yang dapat diterapkan dalam lingkungan bisnis semacam ini?

Saran saya dalam dua kata ( TL; mode DR ): penelitian yang dapat direproduksi .

Untuk detail lebih lanjut - sebagian besar tidak mengulangi diri saya sendiri - izinkan saya merujuk Anda ke jawaban saya yang relevan di tempat lain di StackExchange. Jawaban-jawaban ini mewakili pemikiran saya (dan beberapa pengalaman) tentang topik:

• pembersihan data: /datascience//a/722/2452
• penelitian yang dapat direproduksi: /datascience//a/759/2452
• laporan vs. dasbor: /datascience//a/907/2452
• alur kerja analisis data dan EDA: /datascience//a/1006/2452
• data besar dan R: /datascience//a/780/2452

Catatan akhir (maaf, jika Anda merasa jelas): terlepas dari jenis lingkungan bisnis Anda (yang tidak jelas, omong-omong), saya akan merekomendasikan untuk memulai dari sisi bisnis hal-hal dan membuat arsitektur analisis data , yang (seperti semua yang berhubungan dengan IT) harus diselaraskan dengan arsitektur bisnis, termasuk proses bisnis, unit organisasi, budaya dan orang-orang. Saya harap ini membantu.

UPDATE: Berkenaan dengan membuat baru atau meningkatkan arsitektur analisis data yang ada (juga disebut sebagai arsitektur data , dalam terminologi arsitektur perusahaan ), saya berpikir bahwa dua set slide presentasi ini mungkin berguna juga: ini dan ini .

Dalam perbankan, pemodelan harus mematuhi pedoman manajemen risiko model, seperti OCC 2011-12 . Saya pikir ini adalah dokumen yang menarik bahkan jika Anda tidak di perbankan.

MathWorks memiliki artikel ini tentang standar pemodelan.

Karena pemodelan melibatkan penulisan perangkat lunak dalam satu atau lain bentuk, saya menggunakan elemen metodologi pengembangan perangkat lunak , terutama dalam hal pengujian dan pengujian unit . Saya juga menggunakan alat manajemen konfigurasi perangkat lunak seperti SVN. Ada banyak hal yang dapat dipelajari oleh tim pemodelan dari programmer dalam hal mengelola proyek perangkat lunak yang kompleks, seperti sistem pelacakan masalah dan CMS .

Salah satu hal terpenting adalah metodologi dan proses, model siklus hidup pengembangan. Buat pedoman tentang bagaimana mengembangkan model, dan mengujinya, buat daftar alat standar dan tes dll. Misalnya, pilih satu atau dua tes good-of-fit, dan gunakan di mana-mana.

Buat template dari segalanya: skrip pemodelan, kertas putih, presentasi, dll. Misalnya, saya punya template di LaTeX untuk semua dokumentasi, jadi kertas putih kami terlihat sangat mirip dan semua orang tahu di mana mencari informasi. Kami memiliki bagian standar, seperti statistik deskriptif dan kolom standar di dalamnya seperti kurtosis, tanggal pengamatan pertama dan terakhir dll.

Miliki jurnal lab. Ini adalah satu hal yang orang sains harus pelajari dalam PhD: untuk membuat catatan harian dari semua penelitian, ide dan terutama keputusan. Saat Anda memutuskan untuk menggunakan ARIMA alih-alih GARCH, catat di jurnal lab dan jelaskan mengapa Anda membuat keputusan. Di ujung jalan, orang cenderung melupakan alasan di balik keputusan, jadi penting untuk mencatatnya. Sayangnya, orang-orang dari latar belakang ilmu sosial tidak memiliki kebiasaan menjaga jurnal laboratorium, itu masalah.

Aspek lain dari praktik yang baik adalah disiplin pada tahap commissioning awal. Ini mungkin termasuk hal-hal dasar seperti menyetujui secara tertulis apa yang diminta oleh komisaris (untuk menghindari kesalahpahaman dan perselisihan berikutnya) dan mengklarifikasi siapa dalam bisnis yang memiliki wewenang untuk melakukan pekerjaan komisi (langkah pertama menuju memastikan bahwa fungsi tersebut menangani kebutuhan bisnis yang nyata dan tidak hanya memanjakan siapa saja yang memiliki ide cemerlang).

Disiplin dalam commissioning juga harus mempromosikan dialog konstruktif sebelum kesepakatan tentang pekerjaan yang akan dilakukan. Komisioning tersebut mungkin memiliki gagasan yang samar tentang apa yang mereka butuhkan tetapi mengalami kesulitan dalam merumuskannya secara tepat, atau jika mereka menawarkan formulasi yang tepat, itu mungkin bukan yang paling relevan dengan kebutuhan bisnis mereka (misalnya, mereka mungkin meminta penyelidikan dari alasan penurunan penjualan jangka pendek, ketika apa yang benar-benar mereka minati adalah faktor jangka panjang yang mendorong penjualan). Para ahli statistik dan peneliti mungkin pandai merumuskan pertanyaan atau rencana kerja yang tepat, tetapi kurang mampu mengidentifikasi apa yang akan bermanfaat bagi bisnis. Ada yang saya sarankan paralel dengan praktik yang baik dalam penelitian akademik yang membuat perbedaan antara pertanyaan penelitianmengidentifikasi topik-topik yang cukup luas tentang minat dan hipotesis penelitian dan bertujuan dalam topik-topik semacam itu yang cukup spesifik untuk mengarah pada studi penelitian yang terdefinisi dengan baik. Karena itu, mungkin bermanfaat untuk menganggap para komisioner menghasilkan pertanyaan yang setara dengan pertanyaan penelitian dan para ahli statistik dan peneliti membantu mereka mengidentifikasi program kerja yang lebih spesifik yang relevan dengan pertanyaan itu.

Saya pikir Anda sudah mendapat bagian dari jawaban Anda dalam pertanyaan - "struktur yang baik" adalah kuncinya.

Saya seorang insinyur dan telah bekerja dalam peran yang menekankan aplikasi serupa - di mana Anda diperkenalkan dengan masalah untuk memberikan bantuan dengan menganalisis dan meningkatkan hasil tetapi berada dalam peran penasehat daripada peran pelaksana.

Pendekatan terbaik, yang telah saya lihat, adalah pendekatan yang tidak terlalu preskriptif atau longgar untuk memastikan jumlah bukti yang tepat bahwa pekerjaan dilakukan dengan tekun - yang saya pikir Anda cari.

Six Sigma (yang sedikit istilah kotor di beberapa tempat saya telah bekerja) dan metode lainnya menyediakan kerangka kerja untuk mendekati, menyelesaikan dan menanamkan solusi. Karena mereka didasarkan pada suatu kerangka kerja, mereka dapat diaudit. Kuncinya adalah memastikan bahwa setiap orang dilatih dalam metodologi DAN memiliki templat yang baik yang dapat diaudit.

Misalnya, Anda mungkin ingin solusi dari standar - ini tidak ditentukan oleh program yang digunakan tetapi apakah Anda dapat mengaudit langkah-langkah analisis yang digunakan di kemudian hari dan merasa puas bahwa tugas itu selesai dengan standar. Memberikan tonggak sejarah - mis. Titik pemeriksaan di mana Anda dapat mengaudit akan lebih mudah daripada mencoba mengaudit di akhir proyek.

Kembali ke Six Sigma, beberapa pendekatan mungkin untuk audit pada tahap Tentukan, setelah Mengukur dan Menganalisis, dan akhirnya pada kesimpulan (setelah Meningkatkan dan Mengontrol).

Six Sigma tentu bukan yang terbaik dalam semua situasi tetapi saya dapat merekomendasikannya sebagai titik awal yang potensial.