Statistik dan Big Data

Saya ingin menghitung ukuran kesamaan antara dua set poin yang dipesan --- yang di bawah Pengguna dibandingkan dengan yang di bawah Guru : Poinnya adalah kurva dalam ruang 3D, tetapi saya berpikir bahwa masalahnya disederhanakan jika saya memplotnya dalam 2 dimensi seperti pada gambar. Jika poin tumpang tindih, kesamaan harus …

17 multiple-comparisons  similarities  curves  procrustes-analysis 

Apakah ada cara untuk menyederhanakan persamaan ini? (81)+(82)+(83)+(84)+(85)+(86)+(87)+(88)(81)+(82)+(83)+(84)+(85)+(86)+(87)+(88)\dbinom{8}{1} + \dbinom{8}{2} + \dbinom{8}{3} + \dbinom{8}{4} + \dbinom{8}{5} + \dbinom{8}{6} + \dbinom{8}{7} + \dbinom{8}{8} Atau lebih umum, ∑k=1n(nk)∑k=1n(nk)\sum_{k=1}^{n}\dbinom{n}{k}

17 combinatorics 

Saya memiliki enam variabel dependen (jumlah data) dan beberapa variabel independen, saya melihat bahwa dalam MMR skripnya seperti ini: my.model <- lm(cbind(DV1,DV2,DV3,DV4,DV5,DV6) ~ IV1 + IV2 + ... + IVn) Tapi, karena data saya dihitung, saya ingin menggunakan model linier umum dan saya mencoba ini: my.model <- glm(cbind(DV1,DV2,DV3,DV4,DV5,DV6) ~ IV1 …

17 r  generalized-linear-model  multiple-regression 

Saya memiliki dua seri waktu: Proksi untuk premi risiko pasar (ERP; garis merah) Tingkat bebas risiko, diproksi dengan obligasi pemerintah (garis biru) Saya ingin menguji apakah tingkat bebas risiko dapat menjelaskan ERP. Dengan ini, saya pada dasarnya mengikuti saran Tsay (2010, edisi ke-3, hal. 96): Financial Time Series: Pas dengan …

17 regression  time-series 

Saya ingin membandingkan keakuratan dua pengklasifikasi untuk signifikansi statistik. Kedua pengklasifikasi dijalankan pada set data yang sama. Ini membuat saya percaya bahwa saya harus menggunakan uji-t satu sampel dari apa yang telah saya baca . Sebagai contoh: Classifier 1: 51% accuracy Classifier 2: 64% accuracy Dataset size: 78,000 Apakah ini …

17 machine-learning  statistical-significance  classification  t-test 

Saat menggunakan pemodelan topik (Alokasi Dirichlet Laten), jumlah topik adalah parameter input yang perlu ditentukan pengguna. Menurut saya, kita juga harus menyediakan kumpulan kumpulan topik kandidat yang harus diambil sampel oleh Dirichlet? Apakah pemahaman saya benar? Dalam praktiknya, bagaimana cara mengatur kumpulan topik kandidat semacam ini?

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

Ini adalah pertanyaan mendasar pada model Box-Jenkins MA. Seperti yang saya pahami, model MA pada dasarnya adalah regresi linier dari nilai time-series YYY terhadap istilah kesalahan sebelumnya . Yaitu, pengamatan pertama mundur terhadap nilai sebelumnya dan kemudian satu atau lebih nilai digunakan sebagai istilah kesalahan untuk MA model. Y Y …

17 regression  time-series  arima  box-jenkins 

Saya menggunakan model SVM untuk melakukan peramalan jangka pendek dari polutan udara. Untuk melatih model baru, saya perlu menemukan metaparameter yang sesuai untuk model SVM (maksud saya C, gamma, dan sebagainya). Dokumentasi Libsvm (dan banyak buku lain yang telah saya baca) menyarankan menggunakan pencarian kotak untuk menemukan parameter ini - …

17 cross-validation  svm 

Misalkan kita menjalankan regresi linier sederhana y=β0+β1x+uy=β0+β1x+uy=\beta_0+\beta_1x+u , menyelamatkan residu ui^ui^\hat{u_i} dan menggambar histogram distribusi residu. Jika kita mendapatkan sesuatu yang terlihat seperti distribusi yang akrab, dapatkah kita berasumsi bahwa istilah kesalahan kita memiliki distribusi ini? Katakanlah, jika kami menemukan bahwa residu menyerupai distribusi normal, apakah masuk akal untuk menganggap …

17 r  regression  residuals 

Saat mempelajari interval kepercayaan berbasis bootstrap, saya pernah membaca pernyataan berikut: Jika distribusi bootstrap miring ke kanan, interval kepercayaan berbasis bootstrap memasukkan koreksi untuk memindahkan titik akhir lebih jauh ke kanan; ini mungkin tampak berlawanan dengan intuisi, tetapi itu adalah tindakan yang benar. Saya mencoba memahami logika yang mendasari pernyataan …

17 confidence-interval  bootstrap 

Selama percobaan untuk klasifikasi teks, saya menemukan classifier ridge menghasilkan hasil yang secara konstan berada di atas tes di antara classifier yang lebih umum disebutkan dan diterapkan untuk tugas-tugas penambangan teks, seperti SVM, NB, kNN, dll. Meskipun, saya belum menguraikan tentang cara mengoptimalkan setiap classifier pada tugas klasifikasi teks khusus …

17 machine-learning  classification  text-mining  ridge-regression 

Apakah cukup untuk menunjukkan bahwa MSE = 0 sebagai ? Saya juga membaca sesuatu tentang plim di catatan saya. Bagaimana cara menemukan plim dan menggunakannya untuk menunjukkan bahwa estimator konsisten?n→∞n→∞n\rightarrow\infty

17 estimation  convergence  consistency 

Dalam diskusi mengikuti pertanyaan terbaru tentang apakah standar deviasi dapat melebihi rata-rata, satu pertanyaan diajukan secara singkat tetapi tidak pernah dijawab sepenuhnya. Jadi saya bertanya di sini. Pertimbangkan satu set nnn angka negatif xixix_i mana 0≤xi≤c0≤xi≤c0 \leq x_i \leq c untuk 1≤i≤n1≤i≤n1 \leq i \leq n . Tidak diperlukan berbeda, …

17 variance  mean  standard-deviation  coefficient-of-variation 

Saya hanya memperhatikan bahwa mengintegrasikan fungsi kuantil variabel acak univariat (invers cdf) dari p = 0 ke p = 1 menghasilkan rata-rata variabel. Saya belum pernah mendengar hubungan ini sebelumnya, jadi saya bertanya-tanya: Apakah ini selalu terjadi? Jika demikian, apakah hubungan ini dikenal luas? Berikut ini adalah contoh dalam python: …

17 mean  pdf  quantile-function 

Pembaruan : Maaf untuk pembaruan lain tetapi saya telah menemukan beberapa solusi yang mungkin dengan polinomial fraksional dan paket risiko yang bersaing yang saya perlukan bantuan. Masalah Saya tidak dapat menemukan cara mudah untuk melakukan analisis koefisien dependen waktu dalam R. Saya ingin dapat mengambil koefisien variabel saya dan melakukannya …

17 r  regression  survival  cox-model