Statistik dan Big Data

Saya mencoba untuk menghasilkan urutan acak berkorelasi dengan mean = 000 , varians = 111 , koefisien korelasi = 0.80.80.8 . Dalam kode di bawah ini, saya menggunakan s1& s2sebagai standar deviasi, dan m1& m2sebagai sarana. p = 0.8 u = randn(1, n) v = randn(1, n) x = s1 …

19 correlation  matlab  random-generation  correlation-matrix 

Rupanya, dalam pengelompokan hierarkis di mana ukuran jarak adalah jarak Euclidean, data harus terlebih dahulu dinormalisasi atau distandarisasi untuk mencegah kovariat dengan varian tertinggi dari penggerak pengelompokan. Kenapa ini? Bukankah fakta ini diinginkan?

19 clustering  normalization 

Di kelas kalkulus saya, kami menjumpai fungsi , atau "kurva lonceng", dan saya diberi tahu bahwa ia memiliki aplikasi yang sering dalam statistik.e- x2e-x2e^{-x^2} Karena penasaran, saya ingin bertanya: Apakah fungsi benar-benar penting dalam statistik? Jika demikian, apa masalahnya dengan yang membuatnya berguna, dan apa saja beberapa aplikasinya? e - …

19 normal-distribution 

Saya pernah mendengar / melihat di beberapa tempat bahwa Anda dapat mengubah set data menjadi sesuatu yang terdistribusi normal dengan mengambil logaritma masing-masing sampel, menghitung interval kepercayaan untuk data yang diubah, dan mengubah interval kepercayaan kembali menggunakan operasi terbalik (mis. naikkan 10 pangkat masing-masing untuk batas bawah dan atas, untuk …

19 confidence-interval  mean  lognormal 

Teks et al menyatakan teorema ini "Biarkan dan menunjukkan fungsi penghasil momen dari variabel acak X dan Y, masing-masing. Jika kedua fungsi penghasil momen ada dan untuk semua nilai t, maka X dan Y memiliki distribusi probabilitas yang sama. " tanpa bukti yang mengatakan itu di luar ruang lingkup teks. …

19 mathematical-statistics  references  moments  proof  mgf 

Saya memasang HLM Bayesian di JAGS menggunakan k-fold cross-validation (k = 5). Saya ingin tahu apakah estimasi parameter stabil di semua lipatan. Apa cara terbaik untuk melakukan ini?ββ\beta Satu ide adalah untuk menemukan perbedaan dari posteriors dari dan untuk melihat apakah 0 berada di 95% CI dari perbedaan. Dengan kata …

19 bayesian  cross-validation 

Saya punya pertanyaan tentang model ARIMA. Katakanlah saya memiliki rangkaian waktu yang ingin saya dan model sepertinya cara yang baik untuk melakukan latihan ramalan. Sekarang tertinggal menyiratkan bahwa seri saya hari ini dipengaruhi oleh peristiwa sebelumnya. Ini masuk akal. Tapi apa interpretasi kesalahannya? Sisa sebelumnya (bagaimana saya dalam perhitungan saya) …

19 regression  time-series  interpretation 

Formula apa yang digunakan dalam fungsi standar deviasi sddalam R?

19 r  standard-deviation 

Untuk pemodelan prediktif, apakah kita perlu memusatkan perhatian pada diri kita dengan konsep statistik seperti efek acak dan tidak independennya pengamatan (tindakan berulang)? Sebagai contoh.... Saya memiliki data dari 5 kampanye pengiriman langsung (terjadi selama setahun) dengan berbagai atribut dan tanda untuk pembelian. Idealnya, saya akan menggunakan semua data ini …

19 machine-learning  predictive-models  repeated-measures  assumptions 

Apa ukuran "korelasi" yang berarti untuk mempelajari hubungan antara kedua jenis variabel tersebut? Di R, bagaimana cara melakukannya?

19 r  correlation  categorical-data  association-measure 

Saya seorang pengembang perangkat lunak (kebanyakan. NET dan Python sekitar 5 tahun pengalaman). Apa yang bisa saya lakukan untuk membantu saya mendapatkan pekerjaan di bidang pembelajaran mesin atau benar-benar apa pun yang akan membuat saya memulai di bidang itu? Apakah gelar pascasarjana merupakan persyaratan yang sulit?

19 machine-learning  data-mining  careers 

(abaikan kode R jika perlu, karena pertanyaan utama saya adalah bahasa-independen) Jika saya ingin melihat variabilitas statistik sederhana (mis: rata-rata), saya tahu saya bisa melakukannya melalui teori seperti: x = rnorm(50) # Estimate standard error from theory summary(lm(x~1)) # same as... sd(x) / sqrt(length(x)) atau dengan bootstrap seperti: library(boot) # …

19 r  bootstrap  nonlinear-regression 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya bertanya-tanya apakah mungkin untuk melakukan dalam R clustering data yang memiliki variabel data campuran. Dengan kata lain saya memiliki satu set data yang berisi variabel …

19 r  clustering  mixed-type-data 

Seberapa konservatifkah koreksi beberapa pengujian Benjamini-Hochberg relatif terhadap jumlah perbandingan? Misalnya, jika saya memiliki daftar 18.000 fitur untuk dua grup dan saya melakukan tes Wilcoxon untuk mendapatkan nilai-p. Saya menyesuaikan nilai-p menggunakan Benjamini-Hochberg dan hampir tidak ada yang keluar sebagai signifikan. Saya tahu bahwa koreksi Bonferroni bisa sangat konservatif karena …

19 multiple-comparisons  p-value 

Saya bertanya-tanya apakah ada yang tahu cara menjalankan model mediasi ganda di R. Saya tahu paket mediasi memungkinkan untuk beberapa model mediasi sederhana, tetapi saya ingin menjalankan satu model yang mengevaluasi beberapa model mediasi secara bersamaan. Saya berasumsi saya dapat melakukan ini dalam kerangka SEM (analisis jalur), tetapi bertanya-tanya apakah …

19 r  regression  mediation