Statistik dan Big Data

Hastie et al. "Unsur Pembelajaran Statistik" (2009) mempertimbangkan proses menghasilkan data dengan dan .E ( ε ) = 0 Var ( ε ) = σ 2 εY=f(X)+εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Mereka menyajikan dekomposisi bias-varians berikut dari kesalahan perkiraan kuadrat yang diharapkan pada titik (hal. 223, rumus 7.9): …

9 variance  forecasting  prediction  terminology  bias 

Pengaturan Masalah Saya memiliki titik data (gambar) dimensi tinggi (4096), yang saya coba visualisasikan dalam 2D. Untuk tujuan ini, saya menggunakan t-sne dengan cara yang mirip dengan kode contoh berikut oleh Karpathy . The scikit-belajar dokumentasi merekomendasikan menggunakan PCA untuk pertama menurunkan dimensi dari data: Sangat disarankan untuk menggunakan metode …

9 pca  dimensionality-reduction  high-dimensional  java  tsne 

Saya pas beberapa model formulir .. glm(DV ~ I(1/IV), family = Gamma(link = "log") .. dan saya mencari cara untuk membandingkan model yang diperoleh untuk variabel yang berbeda. Saya bertanya-tanya apakah nilai alfa adalah penggunaan praktis? Untuk tiga plot di bawah ini nilai alpha adalah 17.85, 9.03 dan 6.27. Apakah …

9 generalized-linear-model  gamma-distribution 

Bagaimana Anda menginterpretasikan kurva survival dari model hazard proporsional cox? Dalam contoh mainan ini, anggaplah kita memiliki model hazard proporsional cox pada agevariabel dalam kidneydata, dan menghasilkan kurva survival. library(survival) fit <- coxph(Surv(time, status)~age, data=kidney) plot(conf.int="none", survfit(fit)) grid() Misalnya, pada waktu , pernyataan mana yang benar? atau keduanya salah?200200200 Pernyataan …

9 r  survival  cox-model  likelihood  machine-learning  deep-learning  generative-models  machine-learning  reinforcement-learning  q-learning  regression  multicollinearity  convergence  beta-distribution  bernoulli-distribution  machine-learning  self-study  pattern-recognition  neural-networks  stochastic-processes  linear 

Saya membaca makalah ini tentang aquaponik dan beberapa statistik tidak masuk akal berkenaan dengan persen yang tercantum. Metode apa yang memungkinkan persentasi ini ada? Hewan akuatik yang paling umum ditumbuhkan oleh persen adalah nila (69%), ikan hias (43%), lele (25%), hewan air lainnya (18%), bertengger (16%), bluegill (15%), trout ( …

9 percentage 

Dalam Econometrics Pengantar Wooldridge ada kutipan: Argumen yang membenarkan distribusi normal untuk kesalahan biasanya berjalan seperti ini: karena adalah jumlah dari banyak faktor yang tidak teramati yang mempengaruhi , kita dapat menggunakan teorema batas pusat untuk menyimpulkan bahwa memiliki perkiraan distribusi normal.uuuyyyuuu Kutipan ini berkaitan dengan salah satu asumsi model …

9 self-study  linear-model  econometrics  normality-assumption  central-limit-theorem 

Apakah ada yang tahu apa Fungsi Distribusi Kumulatif Terbalik dari Distribusi Normal? Apakah itu memiliki ekspresi bentuk tertutup? Saya tidak menemukan jawaban yang bagus menggunakan Google.

9 normal-distribution  inverse-cdf 

Dalam pertanyaan populer ini , jawaban terangkat tinggi membuat MLE dan Baum Welch terpisah dalam fitting HMM. Untuk masalah pelatihan, kita dapat menggunakan 3 algoritme berikut: MLE (estimasi kemungkinan maksimum), pelatihan Viterbi (JANGAN bingung dengan decoding Viterbi), Baum Welch = algoritma maju-mundur TETAPI di Wikipedia , katanya Algoritma Baum-Welch menggunakan …

9 hidden-markov-model  expectation-maximization 

Saya punya pertanyaan metodologis umum. Mungkin sudah dijawab sebelumnya, tetapi saya tidak dapat menemukan utas yang relevan. Saya akan menghargai petunjuk untuk kemungkinan duplikat. ( Ini yang sangat bagus, tetapi tanpa jawaban. Ini juga memiliki semangat yang sama, bahkan dengan jawaban, tetapi yang terakhir terlalu spesifik dari sudut pandang saya. …

9 modeling  inference  misspecification 

Saya telah menanyakan pertanyaan ini sebelumnya dengan cara lain di stackexchanges lainnya, mohon maaf untuk repost yang agak. Saya telah bertanya kepada profesor saya dan beberapa mahasiswa PhD tentang, tanpa jawaban yang pasti. Saya pertama-tama akan menyatakan masalah, kemudian solusi potensial saya dan masalah dengan solusi saya, sangat menyesal untuk …

9 poisson-distribution  poisson-process 

Saya melatih jaringan saraf convolutional sederhana untuk regresi, di mana tugasnya adalah untuk memprediksi lokasi (x, y) kotak dalam gambar, misalnya: Output dari jaringan memiliki dua node, satu untuk x, dan satu untuk y. Sisa dari jaringan adalah jaringan saraf convolutional standar. Hilangnya adalah standar kuadrat kesalahan antara posisi kotak …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Saya punya banyak data deret waktu - ketinggian dan kecepatan air vs waktu. Ini adalah output dari simulasi model hidrolik. Sebagai bagian dari proses peninjauan untuk mengonfirmasi bahwa model berkinerja seperti yang diharapkan, saya harus merencanakan setiap rangkaian waktu untuk memastikan bahwa tidak ada "goyangan" dalam data (lihat contoh goyangan …

9 time-series  data-visualization  change-point 

Mengikuti pengalaman singkat saya dalam statistik, tampaknya jenis jumlah kuadrat (tipe I, II, III, IV ...) yang digunakan dalam mendapatkan hasil ANOVA dapat membuat perbedaan dramatis dalam hasil tes (terutama model dengan interaksi dan hilang data). Namun saya belum melihat makalah yang melaporkannya. Kenapa begitu? Saya akan sangat menghargai jika …

9 regression  anova  manova  reporting  sums-of-squares 

Dalam studi longitudinal, hasil dari unit berulang kali diukur pada titik waktu dengan total pengukuran tetap kali (tetap = pengukuran pada unit diambil pada waktu yang sama). i t mYi tYitY_{it}sayaiitttmmm Unit ditugaskan secara acak baik untuk perawatan, , atau ke kelompok kontrol, . Saya ingin memperkirakan dan menguji efek …

9 mixed-model  panel-data  multilevel-analysis  random-effects-model  fixed-effects-model 

Saya baru menggunakan GMM. Saya tidak dapat menemukan bantuan online yang sesuai. Adakah yang bisa tolong berikan saya sumber daya yang tepat pada "Bagaimana cara memutuskan apakah menggunakan GMM cocok dengan masalah saya?" atau jika ada masalah klasifikasi "Bagaimana cara memutuskan apakah saya harus menggunakan klasifikasi SVM atau klasifikasi GMM?"

9 classification  svm  gaussian-mixture  generalized-moments