Statistik dan Big Data

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 7 tahun yang lalu . Mengoreksi ujian mungkin tugas yang paling membosankan bagi seorang guru. Tetapi mungkin lucu bagi kita untuk mengumpulkan jawaban ujian statistik …

13 teaching  humor 

Jika saya memiliki dataset tertentu, seberapa pintarkah untuk menginisialisasi pusat cluster dengan menggunakan sampel acak dari dataset tersebut? Misalnya, saya ingin 5 clusters. Saya 5 random sampleskatakan, size=20%dari dataset asli. Bisakah saya mengambil rata-rata dari masing-masing 5 sampel acak ini dan menggunakan rata-rata tersebut sebagai 5 pusat klaster awal saya? …

13 clustering  k-means  unsupervised-learning 

Menguji keseragaman adalah sesuatu yang umum, namun saya bertanya-tanya apa metode untuk melakukannya untuk awan titik multidimensi.

13 hypothesis-testing  uniform 

Saya ingin menghitung koefisien untuk regresi yang sangat mirip dengan regresi logistik (Sebenarnya regresi logistik dengan koefisien lain: ketika bisa diberikan). Saya berpikir untuk menggunakan GMM untuk menghitung koefisien, tapi saya tidak yakin kondisi apa yang harus saya gunakan.A1+e−(b0+b1x1+b2x2+…),A1+e−(b0+b1x1+b2x2+…), \frac{A}{1 + e^{- (b_0 + b_1 x_1 + b_2 x_2 + …

13 logistic  generalized-moments 

Pertanyaannya hanyalah apa yang dinyatakan dalam judul: Kapan hukum jumlah besar gagal? Yang saya maksudkan adalah, dalam hal apa frekuensi acara tidak cenderung ke probabilitas teoretis?

13 probability  mathematical-statistics  law-of-large-numbers 

Jangan ragu untuk mengganti 'jurnal' dengan portal pengetahuan lain yang bermanfaat. Saya tertarik untuk mengawasi perkembangan baru dalam pembelajaran mesin, dengan pandangan untuk aplikasi praktis. Saya bukan seorang akademisi yang ingin menerbitkan karya saya sendiri (setidaknya tidak dalam bidang ini), tetapi saya ingin mengetahui potensi algoritma atau trik baru yang …

13 machine-learning  references 

Saya ingin mendapatkan pemahaman konseptual tentang Root Mean Squared Error (RMSE) dan Mean Bias Deviation (MBD). Setelah menghitung langkah-langkah ini untuk perbandingan data saya sendiri, saya sering bingung menemukan bahwa RMSE tinggi (misalnya, 100 kg), sedangkan MBD rendah (misalnya, kurang dari 1%). Lebih khusus lagi, saya mencari referensi (bukan online) …

13 standard-deviation  bias 

Saya mencoba membuat prediksi menggunakan model hutan acak di R. Namun saya mendapatkan kesalahan karena beberapa faktor memiliki nilai yang berbeda di set tes daripada di set pelatihan. Misalnya, suatu faktor Cat_2memiliki nilai 34, 68, 76, dll., Di set tes yang tidak muncul di set pelatihan. Sayangnya, saya tidak memiliki …

13 r  categorical-data  random-forest 

Misalkan .Xβ=YXβ=YX\beta =Y Kita tidak tahu persis, hanya korelasinya dengan masing-masing prediktor, .YYYXtYXtYX^\mathrm{t}Y Solusi kuadrat-terkecil (OLS) adalah dan tidak ada masalah.β=(XtX)−1XtYβ=(XtX)−1XtY\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y Tapi anggaplah mendekati singular (multicollinearity), dan Anda perlu memperkirakan parameter ridge yang optimal. Semua metode tampaknya membutuhkan nilai tepat .XtXXtXX^\mathrm{t}XYYY Apakah ada metode alternatif ketika hanya yang …

13 regression  multicollinearity 

Ada beberapa makalah matematika-berat yang menggambarkan Bayesian Lasso, tapi saya ingin menguji, kode JAGS benar yang bisa saya gunakan. Bisakah seseorang memposting sampel kode BUGS / JAGS yang mengimplementasikan regresi logistik yang diatur? Skema apa pun (L1, L2, Elasticnet) akan bagus, tetapi Lasso lebih disukai. Saya juga bertanya-tanya apakah ada …

13 bayesian  logistic  lasso  jags  regularization 

Saya bertanya-tanya bagaimana Anda akan menghasilkan data dari persamaan regresi Poisson di R? Saya agak bingung bagaimana mendekati masalah. Jadi jika saya berasumsi kita memiliki dua prediktor dan X 2 yang didistribusikan N ( 0 , 1 ) . Dan intersepnya adalah 0 dan kedua koefisiennya sama dengan 1. Maka …

13 r  regression  poisson-distribution  simulation 

Sebagai jawaban atas pertanyaan tentang pemilihan model di hadapan multikolinieritas , Frank Harrell menyarankan : Masukkan semua variabel dalam model tetapi jangan menguji efek dari satu variabel yang disesuaikan untuk efek variabel yang bersaing ... Tes chunk dari variabel yang bersaing kuat karena variabel collinear bergabung dalam keseluruhan uji derajat …

13 r  model-selection  multicollinearity 

Apakah ada metode langsung untuk mengubah data tingkat ordinal menjadi tingkat interval (seperti halnya untuk melakukannya sebaliknya)? Dan dapat dilakukan di Excel atau SPSS? Memiliki data, katakan: 10 pertanyaan pada tingkat ordinal (katakan skala 0-5, di mana 0 = "tidak sama sekali", 5 = "sepanjang waktu"), saya ingin mentransformasikannya sehingga …

13 categorical-data  ordinal-data  scales  psychometrics 

Saya ingin menjalankan beberapa tes Kolmogorov-Smironov dua dimensi untuk menentukan apakah distribusi dua dimensi cocok dengan referensi. Apakah ada paket atau aplikasi yang bisa saya gunakan dengan cara yang relatif mudah? Atau adakah algoritma berbeda yang lebih disukai? Saya hanya memiliki pengetahuan statistik dasar.

13 kolmogorov-smirnov 

Apakah ada alternatif cepat untuk algoritma EM untuk model pembelajaran dengan variabel laten (terutama pLSA)? Saya baik-baik saja dengan mengorbankan presisi demi kecepatan.

13 machine-learning  optimization  expectation-maximization  lsa