Statistik dan Big Data

Natal akan datang dan saya ingin membuat hadiah bertema statistik. Penerima membeli dan menyukai How Not to Be Wrong oleh Jordan Ellenberg (btw, saya juga suka buku itu). Dia juga menyukai The Signal and the Noise , meskipun dia merasa sedikit kesulitan dalam matematika. Jadi saya mencari sesuatu seperti buku-buku …

8 references 

Tolong maafkan ketidaktahuan saya, apa nama distribusi dengan kepadatan probabilitas seperti ini? atau lebih umum atau mana adalah konstanta normalisasi.p (x)∝11+ex,x >0,p(x)∝11+ex,x>0,p(x) \propto \frac{1}{1 + e^x},\quad x > 0\,,p ( x ) ∝11 + αeβx,x >0,hal(x)∝11+αeβx,x>0,p(x) \propto \frac{1}{1 + \alpha e^{\beta x}},\quad x > 0\,,p ( x ) = η11 …

8 probability  distributions 

Saya telah menemukan lemma di koran infoGAN . Saya tidak mengerti derivasi Lemma 5.1 dalam lampiran makalah ini. Bunyinya sebagai berikut (termasuk sebagai png): Saya tidak mengerti langkah terakhir. Mengapa seseorang dapat menarik ke dalam yang paling integral, mengubahnya menjadi ? Apa kondisi keteraturan yang sesuai untuk ?f( x , …

8 probability  pdf  conditional-expectation  integral 

Saya memiliki data pengumpulan jangka panjang, dan saya ingin menguji, apakah jumlah hewan yang dikumpulkan dipengaruhi oleh efek cuaca. Model saya terlihat seperti di bawah ini: glmer(SumOfCatch ~ I(pc.act.1^2) +I(pc.act.2^2) + I(pc.may.1^2) + I(pc.may.2^2) + SampSize + as.factor(samp.prog) + (1|year/month), control=glmerControl(optimizer="bobyqa", optCtrl=list(maxfun=1e9,npt=5)), family="poisson", data=a2) Penjelasan dari variabel yang digunakan: SumOfCatch: …

8 r  poisson-distribution  heteroscedasticity  glmm 

Saya sudah mendapat matriks hitung transisi empiris Q. Saya punya urutan teoritis pertama rantai Markov P. Katakan N adalah jumlah transisi. Saya ingin menguji apakah Q kompatibel dengan P. Apakah benar untuk menemukan matriks transisi hitungan teoretis (N * P) yang menghitung statistik chi-square, , dan kemudian menghitung nilai p …

8 hypothesis-testing  chi-squared  markov-process 

Latihan 15.5.1 dari "Teori Probabilitas: Kursus Komprehensif" Klenke berbunyi sebagai berikut. Temukan urutan variabel acak nyata independen dengan untuk semua sedemikian rupa sehingga Saya tidak yakin bagaimana ini mungkin jika rata-rata tidak didefinisikan pada kasus ini. Semua kasus yang dapat saya pikirkan dari variabel dengan mean tidak terdefinisi tidak memenuhi …

8 self-study  central-limit-theorem 

Perusahaan elektronik menghasilkan perangkat yang berfungsi dengan baik 95% dari waktu. Perangkat baru dikirim dalam kotak 400. Perusahaan ingin menjamin bahwa k atau lebih banyak perangkat per kotak berfungsi. Apa k terbesar sehingga setidaknya 95% kotak memenuhi garansi? Mencoba: Saya tahu saya harus menggunakan Teorema Limit Pusat untuk masalah ini, …

8 self-study  binomial  central-limit-theorem 

Apakah ? Juga, bagaimana dengan Saya bingung dengan relasinya. Tampaknya secara intuitif menjadi masalahnya. Jika benar, bagaimana saya membuktikannya secara matematis. Saya telah mencari di situs ini dan di tempat lain ...E[E(X|Y)|Z]=E[X|Y,Z]E[E(X|Y)|Z]=E[X|Y,Z]E[E(X|Y)|Z] =E[X|Y,Z]E[E(X|Y=y)|Z=z]=E[X|Y=y,Z=z]E[E(X|Y=y)|Z=z]=E[X|Y=y,Z=z]E[E(X|Y=y)|Z=z] =E[X|Y=y,Z=z]

8 conditional-expectation 

Kami memiliki permainan di mana pembayaran Anda adalah mana adalah berapa kali Anda membalik koin untuk mendarat di kepala (jika flip pertama Anda adalah kepala, maka ). Maka pembayaran yang diharapkan adalah:2k2k2^kkkkk = 1k=1k=1E=12( 2 ) +14( 4 ) +18( 8 ) + . . .E=12(2)+14(4)+18(8)+...E = \frac{1}{2}(2) + \frac{1}{4}(4) …

8 probability  expected-value  paradox  gambling 

Saya membaca halaman ini di Princeton.edu . Mereka melakukan regresi logistik (dengan R). Pada titik tertentu mereka menghitung probabilitas mendapatkan penyimpangan residual lebih tinggi daripada yang mereka dapatkan pada dengan derajat kebebasan yang sama dengan derajat kebebasan model. Menyalin-menempel dari situs web mereka ...χ2χ2\chi^2 > glm( cbind(using,notUsing) ~ age + …

8 regression  hypothesis-testing  logistic  generalized-linear-model  chi-squared 

Saya mencoba menentukan apakah ulat yang memakan makanan alami (bunga kera) lebih tahan terhadap predator (semut) daripada ulat yang memakan makanan buatan (campuran kuman gandum dan vitamin). Saya melakukan studi percobaan dengan ukuran sampel kecil (20 ulat; 10 per diet). Saya menimbang masing-masing ulat sebelum percobaan. Saya menawarkan sepasang ulat …

8 r  anova 

Saya mencoba melihat apakah variabel x dan y bersama-sama atau secara terpisah mempengaruhi Q_7 secara signifikan (histogram yang di atas). Saya sudah menjalankan tes normalitas Shapiro-Wilk dan mendapatkan yang berikut shapiro.test(Q_7) ## data: Q_7 ## W = 0.68439, p-value < 2.2e-16 Dengan distribusi ini, apakah regresi berikut ini berfungsi? Atau …

8 regression  assumptions 

Apakah lazim memiliki teknik regresi yang berbeda pada daun pohon regresi (misalnya regresi linier)? Saya telah mencarinya selama satu jam terakhir, tetapi yang saya temukan hanyalah implementasi yang memiliki nilai konstan pada daun pohon. Apakah ada alasan mengapa ini tidak umum?

8 cart  nonlinear-regression 

\newcommand{\P}{\mathbb{P}} Saya prihatin dengan data pengamatan di mana tugas perawatan dapat dijelaskan dengan sangat baik. Misalnya, regresi logistik P (A=1 | X) = ( 1 + exp( - ( Xβ) ))- 1P(SEBUAH=1|X)=(1+exp⁡(-(Xβ)))-1\P(A =1 |X) = (1+ \exp(-(X\beta)))^{-1} wehre tugas perawatan dan kovariat sangat cocok dengan tes sangat tinggi atau bahkan …

8 missing-data  causality  propensity-scores  survey-weights 

Mengikuti pertanyaan yang diajukan sebelumnya, varians inflation factor (VIFs) dapat dinyatakan sebagai adalah versi skala satuan panjang dariVIFj=Var(b^j)σ2=[w′jwj−w′jW−j(W′−jW−j)−1W′−jwj]−1VIFj=Var(b^j)σ2=[wj′wj−wj′W−j(W−j′W−j)−1W−j′wj]−1 \textrm{VIF}_j = \frac{\textrm{Var}(\hat{b}_j)}{\sigma^2} = [\mathbf{w}_j^{\prime} \mathbf{w}_j - \mathbf{w}_j^{\prime} \mathbf{W}_{-j} (\mathbf{W}_{-j}^{\prime} \mathbf{W}_{-j})^{-1} \mathbf{W}_{-j}^{\prime} \mathbf{w}_j]^{-1} WW\mathbf{W}XX\mathbf{X} Adakah yang bisa menunjukkan kepada saya bagaimana cara mendapatkan dari sini ke persamaan adalah koefisien penentuan berganda yang …

8 multiple-regression  vif