Statistik dan Big Data

Dalam beberapa kuliah dan tutorial yang saya lihat, mereka menyarankan untuk membagi data Anda menjadi tiga bagian: pelatihan, validasi, dan tes. Tetapi tidak jelas bagaimana dataset uji harus digunakan, atau bagaimana pendekatan ini lebih baik daripada validasi silang atas seluruh kumpulan data. Katakanlah kita telah menyimpan 20% data kita sebagai …

25 machine-learning  cross-validation  validation 

Asumsikan saya memiliki dataset untuk tugas klasifikasi statistik terawasi, misalnya, melalui pengklasifikasi Bayes. Dataset ini terdiri dari 20 fitur dan saya ingin meringkasnya menjadi 2 fitur melalui teknik pengurangan dimensionalitas seperti Principal Component Analysis (PCA) dan / atau Linear Discriminant Analysis (LDA). Kedua teknik memproyeksikan data ke subruang fitur yang …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Hutan acak dikenal berkinerja cukup baik pada berbagai tugas dan telah disebut sebagai penyusun metode pembelajaran . Apakah ada jenis masalah atau kondisi khusus di mana seseorang harus menghindari penggunaan hutan acak?

25 machine-learning  classification  random-forest 

Saya bingung tentang penaksir bias kemungkinan maksimum (ML). Matematika dari seluruh konsep cukup jelas bagi saya, tetapi saya tidak dapat menemukan alasan intuitif di baliknya. Mengingat dataset tertentu yang memiliki sampel dari distribusi, yang dengan sendirinya merupakan fungsi dari parameter yang ingin kami perkirakan, estimator ML menghasilkan nilai untuk parameter …

25 maximum-likelihood  bias 

Dalam model regresi sederhana, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, estimator OLS dan berkorelasi.ββ^O L S0β^0OLS\hat{\beta}_0^{OLS}β^O L S1β^1OLS\hat{\beta}_1^{OLS} Rumus untuk korelasi antara kedua penaksir adalah (jika saya mendapatkannya dengan benar): Kor( β^O L S0, β^O L S1) = - Âni = 1xsayan--√∑ni = 1x2saya-------√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} …

25 regression  least-squares  estimators 

Saya seorang mahasiswa CS master di universitas Jerman sekarang sedang menulis tesis saya. Saya akan selesai dalam dua bulan saya harus membuat keputusan yang sangat sulit jika saya harus melanjutkan ke PhD atau mencari pekerjaan di industri. Alasan saya melakukan PhD: Saya orang yang sangat ingin tahu dan saya merasa …

25 machine-learning  data-mining  careers 

Perhatikan contoh R di bawah ini: plot( hclust(dist(USArrests), "ave") ) Apa sebenarnya arti dari sumbu y "Tinggi"? Melihat North Carolina dan California (bukan di sebelah kiri). Apakah California "lebih dekat" ke Carolina Utara daripada Arizona? Bisakah saya membuat interpretasi ini? Hawaii (kanan) bergabung dengan cluster agak terlambat. Saya dapat melihat …

25 interpretation  hierarchical-clustering  dendrogram 

Saat ini saya menjalankan beberapa model linear efek campuran. Saya menggunakan paket "lme4" di R. Model saya mengambil bentuk: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) Sebelum menjalankan model saya, saya memeriksa kemungkinan multikolinieritas antara prediktor. Saya melakukan ini dengan: Buat kerangka data prediksi dummy_df …

25 r  correlation  mixed-model  lme4-nlme  multicollinearity 

Saya memiliki data.frame dengan 800 obs. dari 40 variabel, dan ingin menggunakan Analisis Komponen Prinsip untuk meningkatkan hasil prediksi saya (yang sejauh ini bekerja paling baik dengan Mesin Vector Support pada sekitar 15 variabel pilihan). Saya mengerti prcomp dapat membantu saya meningkatkan prediksi saya, tetapi saya tidak tahu bagaimana cara …

25 r  pca 

Saya mencoba untuk mendapatkan pemahaman yang lebih baik tentang estimasi kepadatan kernel. Menggunakan definisi dari Wikipedia: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fh^(x)=1n∑ni=1Kh(x−xi)=1nh∑ni=1K(x−xih)fh^(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Mari kita ambil K()K()K() menjadi fungsi persegi panjang yang memberikan 111 jika xxx adalah antara −0.5−0.5-0.5 dan 0.50.50.5 dan 000 …

25 r  kernel-smoothing  convolution 

Saya menjalankan desain berulang dimana saya menguji 30 pria dan 30 wanita di tiga tugas yang berbeda. Saya ingin memahami bagaimana perilaku pria dan wanita berbeda dan bagaimana itu tergantung pada tugas. Saya menggunakan paket lmer dan lme4 untuk menyelidiki ini, namun, saya terjebak dengan mencoba memeriksa asumsi untuk kedua …

25 r  mixed-model  assumptions  lme4-nlme 

Saya menyelidiki berbagai teknik yang digunakan dalam pengelompokan dokumen dan saya ingin menghapus beberapa keraguan tentang PCA (analisis komponen utama) dan LSA (analisis semantik laten). Hal pertama - apa perbedaan di antara mereka? Saya tahu bahwa di PCA, dekomposisi SVD diterapkan ke matriks term-kovarians, sedangkan di LSA itu adalah matriks …

25 clustering  pca  data-mining  svd  lsa 

Saya telah melakukan analisis data yang mencoba mengelompokkan data longitudinal menggunakan paket R dan kml . Data saya berisi sekitar 400 lintasan individu (seperti yang disebut di koran). Anda dapat melihat hasil saya di gambar berikut: Setelah membaca bab 2.2 "Memilih jumlah cluster yang optimal" di makalah yang sesuai saya …

25 r  clustering  panel-data 

Berikut adalah sedikit latar belakang tentang situasi saya: data saya merujuk pada jumlah mangsa yang berhasil dimakan oleh pemangsa. Karena jumlah mangsa terbatas (25 tersedia) di setiap percobaan, saya memiliki kolom "Sampel" yang mewakili jumlah mangsa yang tersedia (jadi, 25 di setiap percobaan), dan yang lain disebut "Hitungan" yang merupakan …

25 r  generalized-linear-model  references  multiple-comparisons  tukey-hsd 

Saya memiliki dua set data, satu dari serangkaian pengamatan fisik (suhu), dan satu dari rangkaian model numerik. Saya sedang melakukan analisis model-sempurna, dengan asumsi ansambel model mewakili sampel yang benar dan independen, dan memeriksa untuk melihat apakah pengamatan diambil dari distribusi itu. Statistik yang saya hitung dinormalisasi, dan secara teoritis …

25 bayesian  goodness-of-fit