Statistik dan Big Data

Apa model nol dalam regresi dan apa hubungan antara model nol dan hipotesis nol? Untuk pemahaman saya, apakah itu berarti Menggunakan "rata-rata variabel respons" untuk memprediksi variabel respons kontinu? Menggunakan "distribusi label" dalam memprediksi variabel respons diskrit? Jika itu masalahnya, tampaknya ada hubungan yang hilang antara hipotesis nol.

16 regression  hypothesis-testing  classification  terminology  model 

Sebagian besar waktu ketika orang berbicara tentang transformasi variabel (untuk variabel prediktor dan respon), mereka membahas cara untuk memperlakukan kemiringan data (seperti transformasi log, transformasi kotak dan transformasi cox, dll.). Apa yang saya tidak bisa mengerti adalah mengapa menghilangkan kemiringan dianggap sebagai praktik terbaik yang umum? Bagaimana skewness mempengaruhi kinerja …

16 modeling  skewness 

Saya agak bingung tentang pembelajaran ensemble. Singkatnya, ini menjalankan model k dan mendapatkan rata-rata model k ini. Bagaimana bisa dijamin bahwa rata-rata model k akan lebih baik daripada model mana pun sendiri? Saya mengerti bahwa bias "menyebar" atau "rata-rata". Namun, bagaimana jika ada dua model dalam ansambel (yaitu k = …

16 machine-learning  ensemble 

Saya belajar bahwa distribusi normal standar adalah unik karena mean dan variansnya tetap pada 0 dan 1 masing-masing. Dengan fakta ini, saya bertanya-tanya apakah ada dua variabel acak standar yang harus independen.

16 normal-distribution  independence 

Pendekatan teoritikal apa yang harus saya ketahui sebagai ahli statistik / ekonometrik terapan? Saya tahu (sedikit) Model kausal Neyman – Rubin (dan Roy , Haavelmo dll.) Karya Pearl tentang Kausalitas Granger Causality (meskipun kurang berorientasi pada perawatan) Konsep apa yang saya lewatkan atau harus saya sadari? Terkait: Teori mana yang …

16 machine-learning  causality  theory  treatment-effect 

Masalah ini terkait dengan penelitian lab saya dalam cakupan robot: Gambar angka secara acak dari set tanpa penggantian, dan urutkan angka dalam urutan menaik. .nnn{1,2,…,m}{1,2,…,m}\{1,2,\ldots,m\}1≤n≤m1≤n≤m1\le n\le m Dari daftar angka yang diurutkan ini , menghasilkan perbedaan antara angka berurutan dan batas: . Ini memberi celah.{a(1),a(2),…,a(n)}{a(1),a(2),…,a(n)}\{a_{(1)},a_{(2)},…,a_{(n)}\}g={a(1),a(2)−a(1),…,a(n)−a(n−1),m+1−a(n)}g={a(1),a(2)−a(1),…,a(n)−a(n−1),m+1−a(n)}g = \{a_{(1)},a_{(2)}−a_{(1)},\ldots,a_{(n)}−a_{(n-1)},m+1-a_{(n)}\}n+1n+1n+1 Apa distribusi kesenjangan …

16 probability  mathematical-statistics  uniform  combinatorics  order-statistics 

Dalam literatur jaringan saraf, sering kita menemukan kata "tensor". Apakah berbeda dari vektor? Dan dari sebuah matriks? Apakah Anda punya contoh spesifik yang menjelaskan definisi itu? Saya agak bingung tentang definisinya. Wikipedia tidak membantu dan kadang-kadang saya memiliki kesan bahwa definisinya tergantung pada lingkungan pembelajaran mesin tertentu yang digunakan (TensorFlow, …

16 neural-networks  terminology  definition  tensor 

Saya telah membaca posting berikut untuk validasi silang bersarang dan masih belum 100% yakin apa yang harus saya lakukan dengan pemilihan model dengan validasi silang bersarang: Validasi silang bersarang untuk pemilihan model Pemilihan model dan validasi silang: Cara yang benar Untuk menjelaskan kebingungan saya, izinkan saya mencoba menjalani pemilihan model …

16 cross-validation  scikit-learn  hyperparameter 

Latar belakang: Banyak penelitian modern dalam ~ 4 tahun terakhir (post alexnet ) tampaknya telah beralih dari menggunakan pretraining generatif untuk jaringan saraf untuk mencapai hasil klasifikasi seni yang mutakhir. Sebagai contoh, hasil teratas untuk mnist di sini hanya mencakup 2 makalah dari 50 teratas tampaknya menggunakan model generatif, yang …

16 references  deep-learning  rbm  generative-models 

Pertimbangkan masalah regresi OLS standar\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}: Saya memiliki matriks YY\Y dan XX\X dan saya ingin mencari ββ\B untuk meminimalkan L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Solusinya diberikan oleh β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Saya juga dapat menimbulkan masalah "terbalik": mengingat YY\Y dan β∗β∗\B^* , cari X^X^\hat\X yang akan menghasilkan β^≈β∗β^≈β∗\hat\B\approx \B^* , yaitu akan meminimalkan …

16 regression  least-squares  ridge-regression 

Saya mencoba mereproduksi dengan optimhasil dari regresi linier sederhana yang dilengkapi dengan glmatau bahkan nlsfungsi R. Perkiraan parameter adalah sama tetapi estimasi varians residual dan kesalahan standar dari parameter lain tidak sama terutama ketika ukuran sampel rendah. Saya kira ini disebabkan oleh perbedaan dalam cara kesalahan standar residual dihitung antara …

16 r  maximum-likelihood  optimization 

Saya mencoba memahami klaim gambaran besar yang dibuat di Taleb, 2016, The Meta-Distribution of Standard P-Values . Di dalamnya, Taleb membuat argumen berikut untuk tidak dapat diandalkannya nilai-p (seperti yang saya mengerti): Prosedur estimasi yang beroperasi pada titik data yang berasal dari beberapa distribusi menghasilkan nilai ap. Jika kita menarik …

16 hypothesis-testing  statistical-significance  p-value 

(Awalnya diposting di MSE.) Saya telah melihat banyak diskusi heuristik tentang teorema limit sentral klasik yang berbicara tentang distribusi normal (atau distribusi stabil mana pun) sebagai "penarik" dalam ruang kepadatan probabilitas. Sebagai contoh, perhatikan kalimat-kalimat ini di bagian atas perawatan Wikipedia : Dalam penggunaan yang lebih umum, teorema limit pusat …

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution 

Mengapa uji- F untuk perbedaan varian sangat sensitif terhadap asumsi distribusi normal, bahkan untuk besar ?NNN Saya sudah mencoba mencari di web dan mengunjungi perpustakaan, tetapi tidak ada yang memberikan jawaban yang baik. Dikatakan bahwa tes ini sangat sensitif untuk pelanggaran asumsi untuk distribusi normal, tetapi saya tidak mengerti mengapa. …

16 normality-assumption  f-test 

Saya bingung tentang persamaan yang berfungsi sebagai definisi tingkat bahaya. Saya mendapatkan ide tentang tingkat bahaya, tetapi saya tidak melihat bagaimana persamaan itu mengekspresikan intuisi itu. Jika adalah variabel acak yang mewakili titik waktu kematian seseorang pada interval waktuxxx[0,T][0,T][0,T] . Maka tingkat bahaya adalah: h(x)=f(x)1−F(x)h(x)=f(x)1−F(x)h(x)=\frac{f(x)}{1-F(x)} Di mana mewakili probabilitas kematian …

16 survival  intuition  hazard