Statistik dan Big Data

Saya memiliki beberapa data dasar tentang pengurangan emisi dan biaya per mobil: q24 <- read.table(text = "reductions cost.per.car 50 45 55 55 60 62 65 70 70 80 75 90 80 100 85 200 90 375 95 600 ",header = TRUE, sep = "") Saya tahu bahwa ini adalah fungsi …

21 r  self-study  exponential  starting-values 

Sering disebutkan bahwa unit linear yang diperbaiki (ReLU) telah menggantikan unit softplus karena mereka linier dan lebih cepat untuk dikomputasi. Apakah softplus itu masih memiliki keuntungan menginduksi sparsity atau apakah itu terbatas pada ReLU? Alasan saya bertanya adalah saya bertanya-tanya tentang konsekuensi negatif dari kemiringan nol ReLU. Bukankah properti ini …

21 machine-learning  neural-networks 

Maksimum iid Standardnormals konvergen ke Distribusi Gumbel Standar sesuai dengan Teori Nilai Ekstrim .X1,…,Xn.∼X1,…,Xn.∼X_1,\dots,X_n. \sim Bagaimana kita bisa menunjukkan itu? Kita punya P(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(\max X_i \leq x) = P(X_1 \leq x, \dots, X_n \leq x) = P(X_1 \leq x) \cdots P(X_n \leq x) = F(x)^n Kita perlu menemukan / memilih an>0,bn∈Ran>0,bn∈Ra_n>0,b_n\in\mathbb{R} …

21 probability  normal-distribution  convergence  extreme-value 

Secara khusus, katakan saya memiliki dua peristiwa, A dan B, dan beberapa parameter distribusi , dan saya ingin melihat .P ( A | B , θ )θθ \theta P( A | B , θ )P(SEBUAH|B,θ)P(A | B,\theta) Jadi, definisi paling sederhana dari probabilitas bersyarat adalah, mengingat beberapa kejadian A dan …

21 probability  conditional-probability 

Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA. Haruskah komponen utama dalam matriks ini disusun dalam baris …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Dengan dataset berikut, saya ingin melihat apakah respons (efek) berubah sehubungan dengan situs, musim, durasi, dan interaksinya. Beberapa forum online tentang statistik menyarankan saya untuk melanjutkan dengan Linear Mixed-Effects Model, tetapi masalahnya adalah karena replikat diacak di setiap stasiun, saya memiliki sedikit kesempatan untuk mengumpulkan sampel dari tempat yang persis …

21 r  mixed-model  lme4-nlme 

Saya sedang belajar tentang Fungsi Distribusi Kumulatif Empiris. Tapi saya masih belum mengerti Mengapa disebut 'Empiris'? Apakah ada perbedaan antara CDF Empiris dan CDF?

21 distributions  terminology  cdf  ecdf 

Dalam statistik klasik, ada definisi yang statistik TTT dari set data y1,…,yny1,…,yny_1, \ldots, y_n didefinisikan sebagai lengkap untuk parameter θθ\theta adalah mustahil untuk membentuk sebuah estimator berisi dari 000 dari itu nontrivially. Artinya, satu-satunya cara untuk memiliki Eh(T(y))=0Eh(T(y))=0E h(T (y )) = 0 untuk semua θθ\theta adalah dengan memiliki hhh …

21 mathematical-statistics  intuition  unbiased-estimator  definition  complete-statistics 

Di kelas probabilitas saya, istilah "jumlah variabel acak" terus digunakan. Namun, saya terjebak pada apa artinya itu? Apakah kita berbicara tentang jumlah sekelompok realisasi dari variabel acak? Jika demikian, bukankah itu menambahkan hingga satu nomor? Bagaimana sejumlah realisasi variabel acak membawa kita ke suatu distribusi, atau fungsi cdf / pdf …

21 probability  self-study  random-variable  terminology 

Saya melakukan pertanyaan pada rantai Markov dan dua bagian terakhir mengatakan ini: Apakah rantai Markov ini memiliki distribusi terbatas. Jika jawaban Anda adalah "ya", cari distribusi terbatas. Jika jawaban Anda "tidak", jelaskan alasannya. Apakah rantai Markov ini memiliki distribusi stasioner. Jika jawaban Anda adalah "ya", cari distribusi stasioner. Jika jawaban …

21 markov-process 

Saya mengevaluasi model fisik dan ingin tahu mana salah satu metode yang harus saya gunakan di sini (antara RMSE dan Koefisien Determinasi R2) Masalahnya adalah sebagai berikut: Saya memiliki fungsi yang menghasilkan prediksi untuk nilai input x, . Saya juga memiliki observasi aktual untuk nilai yang saya sebut .yxyx¯¯¯¯¯= f( …

21 error 

Saya ingin menghitung distribusi probabilitas untuk total kombinasi dadu. Saya ingat bahwa probabilitas adalah jumlah kombinasi yang total jumlahnya melebihi total jumlah kombinasi (dengan asumsi dadu memiliki distribusi seragam). Untuk apa rumusnya Jumlah total kombinasi Jumlah kombinasi yang berjumlah angka tertentu

21 probability  dice 

Saya membaca makalah normalisasi batch (BN) (1) dan tidak mengerti perlunya menggunakan moving average untuk melacak akurasi model dan bahkan jika saya menerima bahwa itu adalah hal yang benar untuk dilakukan, saya tidak mengerti apa yang sebenarnya mereka lakukan. Menurut pemahaman saya (yang salah saya), makalah ini menyebutkan bahwa itu …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Misalnya, dalam R, MASS::mvrnorm()fungsi ini berguna untuk menghasilkan data untuk menunjukkan berbagai hal dalam statistik. Dibutuhkan Sigmaargumen wajib yang merupakan matriks simetris yang menentukan matriks kovarians dari variabel. Bagaimana saya membuat simetris n×nn×nn\times n matriks dengan entri sewenang-wenang?

21 r  random-generation  covariance-matrix 

Menerapkan fungsi softmax pada vektor akan menghasilkan "probabilitas" dan nilai antara dan . 000111 Tetapi kita juga dapat membagi setiap nilai dengan jumlah vektor dan itu akan menghasilkan probabilitas dan nilai antara dan .000111 Saya membaca jawabannya di sini tetapi mengatakan bahwa alasannya adalah karena itu dapat dibedakan, meskipun Kedua …

20 machine-learning  neural-networks  softmax