Statistik dan Big Data

Saya memiliki data yang saya hitung korelasi Spearman dan ingin memvisualisasikannya untuk publikasi. Variabel dependen diberi peringkat, variabel independen tidak. Apa yang ingin saya visualisasikan lebih merupakan tren umum daripada kemiringan aktual, jadi saya memberi peringkat independen dan menerapkan korelasi / regresi Spearman. Tetapi ketika saya merencanakan data saya dan …

12 regression  data-visualization  spearman-rho  ordered-logit  isotonic 

Apa cara untuk memilih kernel apa yang akan menghasilkan pemisahan data yang baik dalam output data akhir oleh kernel PCA (analisis komponen utama), dan apa saja cara untuk mengoptimalkan parameter kernel? Istilah awam jika memungkinkan akan sangat dihargai, dan tautan ke makalah yang menjelaskan metode seperti itu juga akan menyenangkan.

12 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning 

Saya mencari buku teks / catatan kuliah dalam pembelajaran penguatan. Saya menyukai "Pengantar Pembelajaran Statistik" , tetapi sayangnya mereka tidak membahas topik ini. Saya tahu bahwa sebuah buku karya Sutton dan Barto adalah referensi standar, dan mungkin NDP juga bagus tetapi mereka bertanggal 1997-98, dan saya berharap untuk menemukan eksposisi …

12 machine-learning  references 

Dalam pertanyaan ini - Apakah ada metode untuk membangun pohon keputusan yang memperhitungkan prediktor terstruktur / hierarkis / multilevel? - mereka menyebutkan metode data panel untuk pohon. Apakah ada metode data panel khusus untuk mendukung Mesin Vector dan Jaringan Saraf Tiruan? Jika demikian, dapatkah Anda mengutip beberapa makalah untuk algoritme …

12 r  machine-learning  svm  panel-data  cart 

Mengenai nilai p dari analisis regresi linier berganda, pengantar dari situs web Minitab ditunjukkan di bawah ini. Nilai p untuk setiap istilah menguji hipotesis nol bahwa koefisiennya sama dengan nol (tidak berpengaruh). Nilai p yang rendah (<0,05) menunjukkan bahwa Anda dapat menolak hipotesis nol. Dengan kata lain, prediktor yang memiliki …

12 multiple-regression  p-value 

Saya mencari untuk secara analitik menghitung distribusi probabilitas titik pengambilan sampel dari fungsi berosilasi ketika ada beberapa kesalahan pengukuran. Saya sudah menghitung distribusi probabilitas untuk bagian "tanpa suara" (saya akan menempatkan ini di akhir), tetapi saya tidak tahu bagaimana memasukkan "suara". Perkiraan angka Agar lebih jelas, bayangkan ada beberapa fungsi …

12 distributions  normal-distribution  noise 

Saya ingin membandingkan dua algoritma peringkat. Dalam algoritma ini, klien menentukan beberapa kondisi dalam pencariannya. Menurut persyaratan klien, algoritma ini harus menetapkan skor untuk setiap item dalam basis data dan mengambil item dengan skor tertinggi. Saya telah membaca berbagai topik terkait pertanyaan saya di situs ini dan mencari di internet. …

12 machine-learning  precision-recall  average-precision 

Posting ini mengikuti yang ini: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? Ini pertanyaan saya: Sejauh yang saya tahu, regularisasi ridge menggunakan -norm (jarak euclidean). Tetapi mengapa kita menggunakan kuadrat dari norma ini? (aplikasi langsung akan menghasilkan dengan akar kuadrat dari jumlah beta kuadrat).ℓ …

12 lasso  regularization  ridge-regression 

Saya cocok dengan model dengan faktor dengan banyak level dan butuh waktu yang sangat lama untuk menyesuaikan model itu. Kenapa ini? Sebagai contoh, jika saya cocok dengan regresi untuk memprediksi gaji pemain, dan memasukkan faktor prediktor untuk semua kebangsaan masing-masing pemain, itu akan memakan waktu lebih lama daripada memasang model …

12 regression  categorical-data 

Sudah diketahui bahwa matriks kovarians harus pasti semi-positif, namun, apakah yang sebaliknya benar? Yaitu, apakah setiap matriks pasti semi-positif sesuai dengan matriks kovarians?

12 covariance  matrix 

Saya ingin tahu apa hasil distribusi dalam menambahkan dua (atau lebih) distribusi Pareto tipe-satu dari bentuk . Secara eksperimental, ini terlihat seperti hukum kekuatan dua mode, asimptotik terhadap perbedaan alfa.x−αx−αx^{-\alpha}

12 distributions  power-law  pareto-distribution 

Sejauh yang saya tahu, curvilinear didefinisikan secara samar tetapi artinya sama dengan nonlinear . Apakah itu benar? Atau apakah curvilinear memiliki definisi yang berbeda?

12 linear-model  nonlinear-regression  terminology  definition 

Serangkaian dengan drift dapat dimodelkan sebagai mana adalah drift (konstan), dan . yt=c+ϕyt−1+εtyt=c+ϕyt−1+εty_t = c + \phi y_{t-1} + \varepsilon_tcccϕ=1ϕ=1\phi=1 Serangkaian dengan tren dapat dimodelkan sebagai mana adalah drift (konstan), adalah tren waktu deterministik dan .yt=c+δt+ϕyt−1+εtyt=c+δt+ϕyt−1+εty_t = c + \delta t + \phi y_{t-1} + \varepsilon_tcccδtδt\delta tϕ=1ϕ=1\phi=1 Kedua seri tersebut …

12 time-series  hypothesis-testing  stationarity  trend  unit-root 

Adakah yang bisa menjelaskan kondisi keteraturan untuk distribusi uji Likelihood Ratio asimptotik? Di mana-mana saya melihat, tertulis 'Di bawah kondisi keteraturan' atau 'di bawah keteraturan probabilistik'. Apa saja kondisinya? Bahwa derivatif log-likelihood pertama dan kedua ada dan Matriks informasi bukan nol? Atau sesuatu yang lain sama sekali?

12 maximum-likelihood  likelihood-ratio  asymptotics 

Saya melempar masalah ini ke sini saat saya menerimanya. Saya punya dua variabel acak. Salah satunya adalah kontinu (Y) dan yang lainnya diskrit dan akan didekati sebagai ordinal (X). Saya meletakkan di bawah plot yang saya terima bersama dengan kueri. Orang yang mengirimi saya data ingin mengukur kekuatan hubungan antara …

12 correlation  nonparametric  ordinal-data  association-measure