Statistik dan Big Data

Untuk regresi linier, kita dapat memeriksa plot diagnostik (plot residual, plot QQ Normal, dll) untuk memeriksa apakah asumsi regresi linier dilanggar. Untuk regresi logistik, saya mengalami kesulitan menemukan sumber daya yang menjelaskan cara mendiagnosis model regresi logistik yang sesuai. Menggali beberapa catatan saja untuk GLM, itu hanya menyatakan bahwa memeriksa …

74 regression  logistic 

Ada pepatah lama: "Korelasi tidak berarti sebab akibat". Ketika saya mengajar, saya cenderung menggunakan contoh-contoh standar berikut untuk menggambarkan hal ini: jumlah bangau dan tingkat kelahiran di Denmark; jumlah imam di Amerika dan alkoholisme; pada awal abad ke-20 tercatat bahwa ada korelasi kuat antara 'Jumlah radio' dan 'Jumlah orang di …

74 correlation  teaching 

Saya mengikuti kursus Machine Learning online dan belajar tentang Gradient Descent untuk menghitung nilai optimal dalam hipotesis. h(x) = B0 + B1X mengapa kita perlu menggunakan Gradient Descent jika kita dapat dengan mudah menemukan nilai dengan rumus di bawah ini? Ini terlihat lurus ke depan dan juga mudah. tetapi GD …

74 regression  machine-learning  gradient-descent 

Tidak seperti artikel lain, saya menemukan entri wikipedia untuk subjek ini tidak dapat dibaca oleh orang yang bukan ahli matematika (seperti saya). Saya mengerti ide dasar, bahwa Anda menyukai model dengan aturan yang lebih sedikit. Apa yang tidak saya dapatkan adalah bagaimana Anda mendapatkan dari seperangkat aturan ke 'skor regularisasi' …

74 regularization 

Saya tahu bahwa korelasi tidak menyiratkan kausalitas tetapi apakah tidak adanya korelasi menyiratkan tidak adanya kausalitas?

73 correlation  causality 

Pada 25 Februari 2015, jurnal Basic and Applied Social Psychology mengeluarkan editorial yang melarang nilai- dan interval kepercayaan dari semua makalah yang akan datang.ppp Secara khusus, kata mereka (format dan penekanan adalah milikku): [...] sebelum publikasi, penulis harus menghapus semua sisa-sisa NHSTP [prosedur pengujian signifikansi nol hipotesis] (nilai- , nilai- …

73 hypothesis-testing  confidence-interval  p-value  effect-size  psychology 

Saya telah membaca dalam abstrak makalah ini bahwa: "Prosedur kemungkinan maksimum (ML) dari Hartley aud Rao dimodifikasi dengan mengadaptasi transformasi dari Patterson dan Thompson yang membagi kemungkinan membuat normalitas menjadi dua bagian, satu bebas dari efek tetap. Memaksimalkan bagian ini menghasilkan apa yang disebut kemungkinan maksimum terbatas (REML) estimator. " …

73 mixed-model  maximum-likelihood  reml 

Saya sudah sangat tertarik dalam penambangan data dan pembelajaran mesin untuk sementara waktu, sebagian karena saya mengambil jurusan di sekolah itu, tetapi juga karena saya benar-benar jauh lebih bersemangat mencoba menyelesaikan masalah yang memerlukan sedikit pemikiran lebih dari sekadar pemrograman pengetahuan dan yang solusinya dapat memiliki berbagai bentuk. Saya tidak …

73 machine-learning  data-mining  careers  phd 

Video musik PSY "Gangnam style" sangat populer, setelah lebih dari 2 bulan memiliki sekitar 540 juta pemirsa. Saya belajar ini dari anak-anak praremaja saya saat makan malam minggu lalu dan segera diskusi berjalan ke arah apakah mungkin untuk melakukan semacam prediksi tentang berapa banyak penonton akan ada dalam 10-12 hari …

73 modeling  web 

Apakah ada GUI untuk R yang membuatnya lebih mudah bagi pemula untuk mulai belajar dan pemrograman dalam bahasa itu?

73 r 

Ada beberapa penggunaan yang berbeda: estimasi kepadatan kernel trik kernel pemulusan kernel Tolong jelaskan apa arti "kernel" di dalamnya, dalam bahasa Inggris yang sederhana, dengan kata-kata Anda sendiri.

73 kernel-trick  kernel-smoothing 

Ketika menggunakan analisis klaster pada kumpulan data untuk mengelompokkan kasus-kasus serupa, seseorang perlu memilih di antara sejumlah besar metode pengelompokan dan ukuran jarak. Terkadang, satu pilihan mungkin memengaruhi yang lain, tetapi ada banyak kemungkinan kombinasi metode. Apakah ada yang punya rekomendasi tentang bagaimana memilih di antara berbagai algoritma / metode …

73 clustering  distance-functions  methodology 

Sering kali seorang analis statistik menyerahkan set dataset dan diminta untuk mencocokkan suatu model menggunakan teknik seperti regresi linier. Seringkali dataset disertai dengan penafian yang mirip dengan "Oh yeah, kami mengacaukan mengumpulkan beberapa poin data ini - lakukan apa yang Anda bisa". Situasi ini mengarah pada kecocokan regresi yang sangat …

73 regression  outliers 

Dalam beberapa disiplin ilmu, PCA (analisis komponen utama) secara sistematis digunakan tanpa justifikasi, dan PCA dan EFA (analisis faktor eksplorasi) dianggap sebagai sinonim. Karena itu saya baru-baru ini menggunakan PCA untuk menganalisis hasil studi validasi skala (21 item pada skala Likert 7 poin, diasumsikan menyusun 3 faktor masing-masing 7 item) …

73 pca  factor-analysis  eda 

Saya telah membaca banyak akhir-akhir ini tentang perbedaan antara metode pengujian hipotesis Fisher dan sekolah pemikiran Neyman-Pearson. Pertanyaan saya adalah, mengabaikan keberatan filosofis sejenak; kapan kita harus menggunakan pendekatan pemodelan statistik Fisher dan kapan harus menggunakan metode tingkat signifikansi Neyman-Pearson dan lain-lain? Apakah ada cara praktis untuk memutuskan sudut pandang …

73 hypothesis-testing  p-value  methodology