Statistik dan Big Data

Dapatkah informasi timbal balik melalui entropi bersama: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 didefinisikan sebagai: "Peluang menyampaikan informasi dari X ke Y"? Saya minta maaf karena begitu naif, tetapi saya belum pernah mempelajari teori informasi, dan saya mencoba hanya untuk memahami beberapa konsep tentang itu.

11 information-theory  mutual-information 

Tingkat kebebasan dalam tabel F saya tidak cukup tinggi untuk sampel besar saya. Misalnya, jika saya memiliki nilai F dengan 5 dan 6744 derajat kebebasan, bagaimana cara menemukan nilai kritis 5% untuk ANOVA? Bagaimana jika saya melakukan tes chi-square dengan derajat kebebasan yang besar? [Pertanyaan seperti ini telah diposting beberapa …

11 chi-squared  degrees-of-freedom  f-distribution  tables 

Pertanyaan dalam satu kalimat: Apakah ada yang tahu cara menentukan bobot kelas yang baik untuk hutan acak? Penjelasan: Saya bermain-main dengan dataset yang tidak seimbang. Saya ingin menggunakan Rpaket randomForestuntuk melatih model pada dataset yang sangat miring dengan hanya sedikit contoh positif dan banyak contoh negatif. Saya tahu, ada metode …

11 r  random-forest 

Saya membaca slide Steven Scott tentang paket BSTS R (Anda dapat menemukannya di sini: slide ). Pada titik tertentu, ketika berbicara tentang memasukkan banyak regressor dalam model deret waktu struktural ia memperkenalkan spike dan slab prior dari koefisien regresi dan mengatakan bahwa mereka lebih baik dibandingkan dengan metode hukuman. Scott …

11 r  bayesian  feature-selection  penalized  bsts 

Netflix digunakan untuk mendasarkan sarannya pada peringkat yang dikirimkan pengguna dari film / acara lain. Sistem peringkat ini memiliki lima bintang. Sekarang, Netflix memungkinkan pengguna untuk menyukai / tidak suka (acungan jempol / jempol) film / pertunjukan. Mereka mengklaim lebih mudah untuk menilai film. Bukankah klasifikasi 2 arah ini secara …

11 variance  predictive-models  prediction 

Saya sudah menjalankan tes Kruskal Wallis, dan untuk beberapa pertanyaan nilai p tidak signifikan. Apakah saya akan melaporkan ini dengan cara yang sama seolah-olah signifikan, menyatakan df, statistik uji dan nilai-p? Jadi itu akan menjadi seperti ini tes Kruskal Wallis dilakukan tetapi hasilnya ditemukan tidak signifikan H (3) = 2,119, …

11 spss  kruskal-wallis  reporting 

Adakah distribusi kontinu yang dapat diekspresikan dalam bentuk tertutup, yang rerata sedemikian rupa sehingga rerata geometris sampel merupakan penaksir yang tidak bias untuk rerata itu? Pembaruan: Saya baru menyadari bahwa sampel saya harus positif (atau rata-rata geometris mungkin tidak ada) jadi mungkin terus menerus bukan kata yang tepat. Bagaimana dengan …

11 distributions  geometric-mean 

Saya menjalankan model regresi baik dengan Lasso dan Ridge (untuk memprediksi variabel hasil diskrit mulai dari 0-5). Sebelum menjalankan model, saya menggunakan SelectKBestmetode scikit-learnuntuk mengurangi set fitur dari 250 menjadi 25 . Tanpa pemilihan fitur awal, Lasso dan Ridge menghasilkan skor akurasi yang lebih rendah [yang mungkin disebabkan oleh ukuran …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Setelah menonton video di youtube, saya merasa seperti saya tidak dapat benar-benar mendefinisikan inferensi variasi apa. Saya dapat mengikuti prosedur saat saya menonton video ceramah tentang hal itu. Tetapi sulit untuk mendefinisikan apa yang sebenarnya. Berharap untuk mendengarnya.

11 machine-learning  mathematical-statistics  data-mining 

Misalkan kita sedang melihat plot kotak-dan-kumis ini: Antara Kamis dan Jumat, saya pikir sebagian besar akan setuju tampaknya ada perbedaan waktu tidur yang signifikan. Apakah itu dugaan yang secara statistik valid? Bisakah kita melihat perbedaan yang signifikan karena tak satu pun dari rentang kuartil dalam tumpang tindih antara Kamis dan …

11 anova  data-visualization  boxplot 

Saat melakukan regresi polinomial untuk ke , orang terkadang menggunakan polinomial mentah, terkadang polinomial ortogonal. Tetapi ketika mereka menggunakan apa yang tampaknya sepenuhnya sewenang-wenang.XYYYXXX Di sini dan di sini polinomial mentah digunakan. Tetapi di sini dan di sini , polinomial ortogonal tampaknya memberikan hasil yang benar. Apa, bagaimana, mengapa ?! …

11 regression  polynomial 

Saya telah membaca Hamilton Bab 13 dan dia memiliki representasi ruang keadaan berikut untuk ARMA (p, q). Misalkan Maka proses ARMA (p, q) adalah sebagai berikut: Lalu, ia mendefinisikan Persamaan Negara sebagai berikut:r=max(p,q+1)r=max(p,q+1)r = \max(p,q+1)yt−μ=ϕ1(yt−1−μ)+ϕ2(yt−2−μ)+...+ϕ3(yt−3−μ)+ϵt+θ1ϵt−1+...+θr−1ϵt−r+1.yt−μ=ϕ1(yt−1−μ)+ϕ2(yt−2−μ)+...+ϕ3(yt−3−μ)+ϵt+θ1ϵt−1+...+θr−1ϵt−r+1. \begin{aligned} y_t -\mu &= \phi_1(y_{t-1} -\mu) + \phi_2(y_{t-2} -\mu) + ... + \phi_3(y_{t-3} -\mu) \\ …

11 time-series  arima  kalman-filter  state-space-models 

Saya tertarik pada hasil teoretis untuk kemampuan generalisasi dari Support Vector Machines, misalnya terikat pada probabilitas kesalahan klasifikasi dan pada dimensi Vapnik-Chervonenkis (VC) dari mesin-mesin ini. Namun, membaca literatur saya memiliki kesan bahwa beberapa hasil berulang yang serupa cenderung sedikit berbeda dari penulis ke penulis, terutama mengenai kondisi teknis yang …

11 machine-learning  svm  vc-dimension 

Saya mencari beberapa makalah atau buku dengan contoh praktis dan teoritis tentang MCMC dasar untuk Bayesian Statistics (With R). Saya belum pernah belajar tentang simulasi, dan itulah sebabnya saya mencari informasi "dasar". Bisakah Anda memberi saya beberapa rekomendasi atau saran?

11 bayesian  references  mcmc 

Apakah ada metodologi yang ada untuk menerapkan model pembelajaran yang diawasi ke dataset yang tidak pasti? Misalnya, kita memiliki dataset dengan kelas A dan B: +----------+----------+-------+-----------+ | FeatureA | FeatureB | Label | Certainty | +----------+----------+-------+-----------+ | 2 | 3 | A | 50% | | 3 | 1 | …

11 machine-learning  supervised-learning