Statistik dan Big Data

Saya mengikuti AW van der Vaart, statistik asimptotik (1998). Dia berbicara tentang eksperimen statistik, mengklaim bahwa mereka berbeda dari model statistik, tetapi dia tidak mendefinisikan keduanya. Pertanyaan saya: Apa itu (1) percobaan statistik, (2) model statistik dan (3) apa bahan utama yang selalu akan membuat eksperimen statistik berbeda dari model …

17 mathematical-statistics  inference  experiment-design  descriptive-statistics  model 

Saya melihat daftar ini di sini dan tidak percaya ada begitu banyak cara untuk menyelesaikan kuadrat terkecil. "Persamaan normal" di Wikipedia tampaknya merupakan cara yang cukup lurus ke depan: α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Jadi mengapa tidak menggunakannya …

17 regression  least-squares  scikit-learn 

Saya telah berdebat dengan profesor statistik tingkat pascasarjana saya tentang "distribusi normal". Saya berpendapat bahwa untuk benar-benar mendapatkan distribusi normal kita harus memiliki mode mean = median =, semua data harus terkandung di bawah kurva lonceng, dan simetris sempurna di sekitar mean. Oleh karena itu, secara teknis, sebenarnya TIDAK ADA …

17 mathematical-statistics  descriptive-statistics 

Diberikan adalah 6 batas keputusan di bawah ini. Batas keputusan adalah garis violett. Dots dan crosses adalah dua set data yang berbeda. Kita harus memutuskan yang mana adalah: SVM linear Kernelized SVM (kernel polinomial pesanan 2) Perceptron Regresi logistik Neural Network (1 lapisan tersembunyi dengan 10 unit linear yang diperbaiki) …

17 machine-learning  self-study  classification  neural-networks  svm 

Ini juga diketahui bahwa regresi linier dengan penalti setara dengan menemukan perkiraan MAP diberi Gaussian sebelumnya pada koefisien. Demikian pula, menggunakan l 1 penalti setara dengan menggunakan distribusi Laplace sebagai sebelumnya.l2l2l^2l1l1l^1 Tidak jarang menggunakan kombinasi tertimbang dari regularisasi dan l 2 . Bisakah kita mengatakan bahwa ini setara dengan beberapa …

17 regression  bayesian  regularization  prior  elastic-net 

Saya ditanya pertanyaan ini tempo hari dan tidak pernah mempertimbangkannya sebelumnya. Intuisi saya berasal dari kelebihan masing-masing estimator. Kemungkinan maksimum lebih disukai ketika kami yakin dalam proses menghasilkan data karena, tidak seperti metode momen, itu memanfaatkan pengetahuan dari seluruh distribusi. Karena penduga Kementerian Perindustrian hanya menggunakan informasi yang terdapat pada …

17 mathematical-statistics  maximum-likelihood  estimators  method-of-moments 

Regresi beta (yaitu GLM dengan distribusi beta dan biasanya fungsi tautan log) sering direkomendasikan untuk menangani respons alias variabel dependen yang mengambil nilai antara 0 dan 1, seperti fraksi, rasio, atau probabilitas: Regresi untuk hasil (rasio atau fraksi) antara 0 dan 1 . Namun, selalu dinyatakan bahwa regresi beta tidak …

17 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression 

Jika hasil uji t satu sisi saya signifikan tetapi ukuran sampel kecil (mis. Di bawah 20 atau lebih), dapatkah saya tetap mempercayai hasil ini? Jika tidak, bagaimana saya harus menangani dan / atau menafsirkan hasil ini?

17 statistical-significance  t-test  interpretation  sample-size  small-sample 

Definisi standar pencilan untuk plot Kotak dan Kumis adalah poin di luar rentang , di mana dan adalah kuartil pertama dan adalah kuartil ketiga dari data.{Q1−1.5IQR,Q3+1.5IQR}{Q1−1.5IQR,Q3+1.5IQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}IQR=Q3−Q1IQR=Q3−Q1IQR= Q3-Q1Q1Q1Q1Q3Q3Q3 Apa dasar dari definisi ini? Dengan sejumlah besar poin, bahkan distribusi yang normal sekalipun menghasilkan outlier. Misalnya, Anda mulai dengan urutan: xseq<-seq(1-.5^1/4000,.5^1/4000, by …

17 outliers  normality-assumption  qq-plot  boxplot 

Mari kita asumsikan bahwa kita memiliki sampel dua variabel acak Bernoulli independen, dan .B e r ( θ 2 )Ber(θ1)Ber(θ1)\mathrm{Ber}(\theta_1)Ber(θ2)Ber(θ2)\mathrm{Ber}(\theta_2) Bagaimana kami membuktikan bahwa ?(X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2−−−−−−−−−−−−−−√→dN(0,1)(X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2→dN(0,1)\frac{(\bar X_1-\bar X_2)-(\theta_1-\theta_2)}{\sqrt{\frac{\theta_1(1-\theta_1)}{n_1}+\frac{\theta_2(1-\theta_2)}{n_2}}}\xrightarrow{d} \mathcal N(0,1) Asumsikan .n1≠n2n1≠n2n_1\neq n_2

17 distributions  sampling  bernoulli-distribution 

Saya memiliki data tentang perilaku pergerakan (waktu yang dihabiskan untuk tidur, kurang gerak, dan melakukan aktivitas fisik) yang jumlahnya kira-kira 24 (seperti dalam jam per hari). Saya ingin membuat variabel yang menangkap waktu relatif yang dihabiskan dalam masing-masing perilaku ini - Saya telah diberitahu bahwa transformasi log-rasio isometrik akan mencapai …

17 r  multivariate-analysis  data-transformation  compositional-data 

Anda dan saya memutuskan untuk memainkan permainan di mana kami bergiliran membalik koin. Pemain pertama yang membalikkan 10 kepala total memenangkan permainan. Tentu saja, ada argumen tentang siapa yang harus pergi dulu. Simulasi permainan ini menunjukkan bahwa pemain yang membalik pertama menang 6% lebih banyak daripada pemain yang membalik kedua …

17 probability  python  binomial  negative-binomial 

Saya telah belajar tentang model bahaya proporsional Cox. Saya memiliki banyak pengalaman pas model regresi logistik, dan model sehingga untuk membangun intuisi saya telah membandingkan cocok menggunakan coxphdari R "survival" dengan model regresi logistik cocok menggunakan glmdengan family="binomial". Jika saya menjalankan kode: library(survival) s = Surv(time=lung$time, event=lung$status - 1) summary(coxph(s …

17 r  logistic  survival  cox-model  power 

Saya ingin menghasilkan sampel dari wilayah biru yang didefinisikan di sini: Solusi naif adalah menggunakan sampel penolakan di unit square, tetapi ini hanya memberikan efisiensi (~ 21,4%).1−π/41−π/41-\pi/4 Apakah ada cara agar saya dapat mencicipi lebih efisien?

17 probability  sampling  monte-carlo  random-generation 

Jika Anda memiliki setengah halaman untuk menjelaskan putus sekolah , bagaimana Anda akan melanjutkan? Yang merupakan alasan di balik teknik ini?

17 neural-networks  deep-learning  regularization  dropout