Statistik dan Big Data

Pertanyaan dasar saya adalah: bagaimana Anda akan mengambil sampel dari distribusi yang tidak tepat? Apakah masuk akal untuk mengambil sampel dari distribusi yang tidak tepat? Komentar Xi'an di sini semacam menjawab pertanyaan itu, tetapi saya sedang mencari beberapa detail lebih lanjut tentang ini. Lebih spesifik untuk MCMC: Dalam berbicara tentang …

15 distributions  bayesian  mcmc  markov-process  improper-prior 

Saya mewawancarai orang-orang untuk posisi pengembang algoritma / peneliti dalam konteks statistik / pembelajaran mesin / data mining. Saya mencari pertanyaan untuk ditanyakan untuk menentukan, secara khusus, keakraban, pemahaman dan kelenturan kandidat dengan teori yang mendasarinya, misalnya sifat dasar dari harapan dan perbedaan, beberapa distribusi umum, dll. Saya saat masuk …

15 machine-learning  probability  distributions 

Berapa yang diharapkan berapa kali Anda harus melempar dadu sampai masing-masing sisi muncul 3 kali? Pertanyaan ini ditanyakan di sekolah dasar di Selandia Baru dan diselesaikan dengan simulasi. Apa solusi analitis untuk masalah ini?

15 probability  multinomial  negative-binomial  coupon-collector-problem 

Saya memiliki masalah dalam memahami mengapa Bayesian Inference mengarah pada masalah yang sulit diselesaikan. Masalahnya sering dijelaskan seperti ini: Apa yang saya tidak mengerti adalah mengapa integral ini harus dievaluasi di tempat pertama: Tampaknya bagi saya bahwa hasil integral adalah hanya sebuah konstanta normalisasi (seperti dataset D diberikan). Mengapa seseorang …

15 bayesian  inference 

Saya cukup baru di hutan acak. Di masa lalu, saya selalu membandingkan akurasi fit vs tes terhadap fit vs kereta untuk mendeteksi overfitting apapun. Tapi saya baru baca di sini bahwa: "Di hutan acak, tidak perlu untuk validasi silang atau set tes terpisah untuk mendapatkan estimasi yang tidak bias dari …

15 cross-validation  random-forest  overfitting 

Setelah membaca posting blog ini tentang model deret waktu struktural Bayesian, saya ingin melihat penerapan ini dalam konteks masalah yang sebelumnya saya gunakan untuk ARIMA. Saya memiliki beberapa data dengan beberapa komponen musiman yang diketahui (tetapi berisik) - pasti ada komponen tahunan, bulanan dan mingguan untuk ini, dan juga beberapa …

15 r  time-series  bayesian  mcmc  bsts 

Saya baru saja membaca ini artikel BBC ini tentang format kualifikasi di Formula 1. Penyelenggara ingin membuat kualifikasi menjadi kurang dapat diprediksi, yaitu meningkatkan variasi statistik dalam hasilnya. Meliputi beberapa rincian yang tidak relevan, pada saat driver diberi peringkat oleh putaran tunggal terbaik mereka dari (untuk konkret) dua upaya. Salah …

15 variance 

Misalkan kita memiliki proses Bernoulli dengan probabilitas kegagalan qqq (yang akan menjadi kecil, katakanlah, q≤0.01q≤0.01q \leq 0.01 ) dari mana kita sampel sampai kita menemukan 101010 kegagalan. Kami dengan demikian memperkirakan probabilitas kegagalan sebagai q : = 10 / N di mana N adalah jumlah sampel.q^:=10/Nq^:=10/N\hat{q}:=10/NNNN Pertanyaan : Apakah q …

15 estimation  bernoulli-distribution 

Hari ini, saya bermain-main dengan dataset kecil dan melakukan regresi OLS sederhana yang saya harapkan gagal karena multikolinieritas sempurna. Namun, ternyata tidak. Ini menyiratkan bahwa pemahaman saya tentang multikolinieritas salah. Pertanyaan saya adalah: Di mana saya salah? Saya pikir saya dapat menunjukkan bahwa salah satu variabel saya adalah kombinasi linear …

15 multiple-regression  least-squares  multicollinearity 

Saat ini saya mencoba menerapkan model linier ( family = gaussian) ke indikator keanekaragaman hayati yang tidak dapat mengambil nilai lebih rendah dari nol, inflasi nol dan berkelanjutan. Nilai berkisar dari 0 hingga sedikit di atas 0,25. Sebagai akibatnya, ada pola yang cukup jelas dalam residu model yang belum berhasil …

15 regression  zero-inflation  tobit-regression  tweedie-distribution 

I have been studying statistics from many books for the last 3 years, and thanks to this site I learned a lot. Nevertheless one fundamental question still remains unanswered for me. It may have a very simple or a very difficult answer, but I know for sure it requires some …

15 modeling  inference  aic 

Misalkan X1,X2,...,XnX1,X2,...,XnX_1, X_2,...,X_n menjadi iid dari N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2) dengan μ∈Rμ∈R\mu \in \mathcal R dan σ 2 > 0 yang tidak diketahuiσ2>0σ2>0\sigma^2>0 Biarkan Z=X1−X¯S,Z=X1−X¯S,Z=\frac{X_1-\bar{X}}{S},S adalah standar deviasi di sini. Dapat ditunjukkan bahwa ZZZ memiliki Lebesgue pdf f(z)=n−−√Γ(n−12)π−−√(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n√)(|Z|)f(z)=nΓ(n−12)π(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n)(|Z|)f(z)=\frac{\sqrt{n} \Gamma\left(\frac{n-1}{2}\right)}{\sqrt{\pi}(n-1)\Gamma\left(\frac{n-2}{2}\right)}\left[1-\frac{nz^2}{(n-1)^2}\right]^{n/2-2}I_{(0,(n-1)/\sqrt{n})}(|Z|) Pertanyaan saya lalu bagaimana cara mendapatkan pdf ini? Pertanyaannya adalah dari sini dalam contoh …

15 self-study  umvue 

Dalam buku "Biostatistik untuk boneka" di halaman 40 saya membaca: Kesalahan standar (disingkat SE) adalah salah satu cara untuk menunjukkan seberapa akurat perkiraan Anda atau pengukuran sesuatu. dan Interval kepercayaan memberikan cara lain untuk menunjukkan ketepatan estimasi atau pengukuran sesuatu. Tetapi tidak ada tertulis apa pun bagaimana menunjukkan keakuratan pengukuran. …

15 confidence-interval  standard-error  measurement-error  accuracy 

Saya punya contoh yang berhasil (dalam R), yang saya coba mengerti lebih lanjut. Saya menggunakan Limma untuk membuat model linier dan saya mencoba memahami apa yang terjadi langkah demi langkah dalam perhitungan perubahan lipat. Saya kebanyakan berusaha mencari tahu apa yang terjadi untuk menghitung koefisien. Dari apa yang saya tahu, …

15 r  regression  linear-model 

LATAR BELAKANG: Lewati dengan aman - ada di sini untuk referensi, dan untuk melegitimasi pertanyaan. Pembukaan makalah ini berbunyi: "Uji kontingensi chi-square Karl Pearson yang terkenal berasal dari statistik lain, yang disebut statistik z, berdasarkan pada distribusi Normal. Versi paling sederhana dari χ2χ2\chi^2 dapat ditunjukkan identik secara matematis dengan uji …

15 chi-squared  proportion  z-test