Statistik dan Big Data

Hanya ingin tahu apakah mungkin untuk menemukan nilai yang diharapkan dari x jika terdistribusi secara normal, mengingat bahwa itu di bawah nilai tertentu (misalnya, di bawah nilai rata-rata).

12 normal-distribution  conditional-probability  expected-value 

Mengapa analisis deret waktu tidak dianggap sebagai algoritma pembelajaran mesin (tidak seperti regresi linier). Analisis regresi dan deret waktu adalah metode peramalan. Jadi mengapa salah satu dari mereka dianggap sebagai algoritma pembelajaran tetapi tidak yang lain?

12 regression  machine-learning  time-series  terminology 

Saya mencoba menerapkan uji eksak Fisher dalam masalah genetika yang disimulasikan, tetapi nilai-p tampaknya condong ke kanan. Menjadi seorang ahli biologi, saya kira saya hanya kehilangan sesuatu yang jelas bagi setiap ahli statistik, jadi saya akan sangat menghargai bantuan Anda. Setup saya adalah ini: (setup 1, marjinal tidak tetap) Dua …

12 p-value  fishers-exact 

Saya membaca tentang distribusi sebelumnya dan saya menghitung Jeffrey sebelumnya untuk sampel variabel acak yang terdistribusi normal dengan rerata tidak diketahui dan tidak diketahui. Menurut perhitungan saya, berikut ini berlaku untuk Jeffreys sebelumnya: Di sini, adalah matriks informasi Fisher.p(μ,σ2)=det(I)−−−−−√=det(1/σ2001/(2σ4))−−−−−−−−−−−−−−−−−−√=12σ6−−−−√∝1σ3.p(μ,σ2)=det(I)=det(1/σ2001/(2σ4))=12σ6∝1σ3. p(\mu,\sigma^2)=\sqrt{det(I)}=\sqrt{det\begin{pmatrix}1/\sigma^2 & 0 \\ 0 & 1/(2\sigma^4)\end{pmatrix}}=\sqrt{\frac{1}{2\sigma^6}}\propto\frac{1}{\sigma^3}.III Namun, saya juga sudah …

12 bayesian  normal-distribution  prior  jeffreys-prior 

Berikut ini adalah model yang dibuat dari mtcarsdataset: > ols(mpg~wt+am+qsec, mtcars) Linear Regression Model ols(formula = mpg ~ wt + am + qsec, data = mtcars) Model Likelihood Discrimination Ratio Test Indexes Obs 32 LR chi2 60.64 R2 0.850 sigma 2.4588 d.f. 3 R2 adj 0.834 d.f. 28 Pr(> chi2) …

12 regression  multiple-regression  r-squared 

Saya mencoba untuk menyelesaikan tugas yang disebut deteksi pejalan kaki dan saya melatih clasifer biner pada dua kategori positif - orang, negatif - latar belakang. Saya punya dataset: jumlah positif = 3752 jumlah negatif = 3800 Saya menggunakan train \ test split 80 \ 20% dan bentuk RandomForestClassifier scikit-pelajari dengan …

12 classification  random-forest  unbalanced-classes  precision-recall  computer-vision 

Contoh halaman ini menunjukkan bahwa regresi sederhana sangat dipengaruhi oleh pencilan dan ini dapat diatasi dengan teknik regresi yang kuat: http://www.alastairsanderson.com/R/tutorials/robust-regress-in-R/ . Saya percaya lmrob dan ltsReg adalah teknik regresi kuat lainnya. Mengapa seseorang tidak harus melakukan regresi yang kuat (seperti rlm atau rq) setiap kali daripada melakukan regresi sederhana …

12 regression  multiple-regression  robust 

Saya tertarik pada bagaimana Filter Kalman dapat digunakan untuk memasukkan nilai yang hilang dalam Data Rangkaian Waktu. Apakah ini juga berlaku jika beberapa titik waktu berturut-turut hilang? Saya tidak dapat menemukan banyak tentang topik ini. Setiap penjelasan, komentar, dan tautan diterima dan dihargai!

12 data-imputation  kalman-filter 

Dalam seri kuliah Learning from Data , profesor menyebutkan bahwa dimensi VC mengukur kompleksitas model pada berapa banyak poin yang dapat dihancurkan oleh model tertentu. Jadi ini bekerja dengan sangat baik untuk model klasifikasi di mana kita bisa mengatakan keluar dari N poin jika classifier mampu menghancurkan k poin secara …

12 regression  machine-learning  vc-dimension 

Untuk mencegah orang overfitting orang menambahkan istilah regularisasi (sebanding dengan jumlah kuadrat dari parameter model) dengan parameter regularisasi ke fungsi biaya regresi linier. Apakah parameter ini sama dengan pengali lagrange? Jadi, apakah regularisasi sama dengan metode pengali lagrange? Atau bagaimana metode ini terhubung? λλ\lambdaλλ\lambda

12 regression  optimization  regularization 

Saya ingin membuat data survival mainan (waktu untuk acara) yang disensor dengan benar dan mengikuti distribusi dengan bahaya proporsional dan bahaya baseline konstan. Saya membuat data sebagai berikut, tetapi saya tidak dapat memperoleh estimasi rasio bahaya yang mendekati nilai sebenarnya setelah menyesuaikan model bahaya proporsional Cox dengan data yang disimulasikan. …

12 survival  cox-model  monte-carlo 

Katakanlah kita memiliki vektor acak , diambil dari distribusi dengan fungsi kerapatan probabilitas f → X ( → x ) . Jika kita mengubahnya secara linear dengan peringkat penuh n × n matriks A untuk mendapatkan → Y = A → X , maka kepadatan → Y diberikan oleh f …

12 references  random-variable  pdf  linear 

Misalkan ~ dan ~ menjadi dua variabel acak independen dengan distribusi yang diberikan. Apa distribusi ?XXXU(0,2)U(0,2)U(0,2)YYYU(−10,10)U(−10,10)U(-10,10)V=XYV=XYV=XY Saya telah mencoba konvolusi, mengetahui itu h(v)=∫y=+∞y=−∞1yfY(y)fX(vy)dyh(v)=∫y=−∞y=+∞1yfY(y)fX(vy)dyh(v) = \int_{y=-\infty}^{y=+\infty}\frac{1}{y}f_Y(y) f_X\left (\frac{v}{y} \right ) dy Kita juga tahu bahwa fY(y)=120fY(y)=120f_Y(y) = \frac{1}{20} , h ( v ) = 120∫y= 10y= - 101y⋅ 12dyh(v)=120∫y=−10y=101y⋅12dyh(v)= \frac{1}{20} \int_{y=-10}^{y=10} …

12 distributions  random-variable 

Katakanlah saya ingin menghasilkan satu set angka acak dari interval (a, b). Urutan yang dihasilkan juga harus memiliki properti yang disortir. Saya dapat memikirkan dua cara untuk mencapai ini. Membiarkan nmenjadi panjang urutan yang akan dihasilkan. Algoritma 1: Let `offset = floor((b - a) / n)` for i = 1 …

12 random-generation 

Adakah yang bisa menjelaskan perbedaan antara model campuran dan analisis regresi linier? (Saya memiliki pengetahuan statistik yang sangat terbatas.)

12 regression  mixed-model