Statistik dan Big Data

Saya dapat melihat mengapa Anda mungkin tidak menggunakan metode yang lebih kuat, seperti metode Hochberg, atas koreksi Bonferroni, karena mereka mungkin memiliki asumsi tambahan, seperti independensi hipotesis dalam kasus ini, tapi saya tidak mengerti mengapa Anda mau pernah menggunakan koreksi Bonferroni atas modifikasi Holm yang berurutan, karena yang terakhir lebih …

10 hypothesis-testing  bonferroni 

Saya sering mendengar tentang mengevaluasi kinerja model klasifikasi dengan mengulurkan set tes dan melatih model pada set pelatihan. Kemudian membuat 2 vektor, satu untuk nilai prediksi dan satu untuk nilai sebenarnya. Jelas melakukan perbandingan memungkinkan seseorang untuk menilai kinerja model dengan kekuatan prediktifnya menggunakan hal-hal seperti F-Score, Statistik Kappa, Precision …

10 regression  machine-learning  model-evaluation 

Saya sedang mengerjakan disertasi, dan saya melakukan sejumlah tes. Setelah menggunakan tes Kruskal-Wallis, saya biasanya melaporkan hasilnya seperti ini: Ada perbedaan yang signifikan antara sarana ...( χ2( 2 )= 7.448 , p = .024 )(χ(2)2=7.448,hal=0,024)(\chi^2_{(2)}=7.448, p=.024) Tetapi sekarang saya melakukan tes Mann-Whitney, dan saya tidak yakin nilai mana yang harus …

10 wilcoxon-mann-whitney  reporting 

Saya tahu 2 pendekatan untuk melakukan LDA, pendekatan Bayesian dan pendekatan Fisher . Misalkan kita memiliki data ( x , y)(x,y)(x,y) , di mana xxx adalah prediktor halpp dimensi dan yyy adalah variabel dependen dari kelas KKK Dengan pendekatan Bayesian , kita menghitung p posterior ( y k | x …

10 discriminant-analysis 

Saya mencoba membandingkan data dari 2 populasi untuk mengetahui apakah perbedaan antara perawatan secara statistik signifikan. Set data tampaknya terdistribusi secara normal dengan sedikit perbedaan antara kedua set. Perbedaan rata-rata adalah 0,00017. Saya melakukan uji-t berpasangan, berharap bahwa saya akan gagal untuk menolak hipotesis nol tidak ada perbedaan antara rata-rata, …

10 statistical-significance  t-test  paired-data 

Dalam satu set masalah saya membuktikan "lemma" ini, yang hasilnya tidak intuitif bagi saya. adalah distribusi normal standar dalam model yang disensor.ZZZ Secara formal, , dan . Kemudian, Jadi ada semacam koneksi antara rumus ekspektasi pada domain terpotong dan kepadatan pada titik pemotongan . Adakah yang bisa menjelaskan intuisi di …

10 normal-distribution  pdf  intuition 

Saya relatif baru untuk statistik bayesian dan telah menggunakan JAGS baru-baru ini untuk membangun model bayesian hirarkis pada dataset yang berbeda. Sementara saya sangat puas dengan hasilnya (dibandingkan dengan model glm standar), saya perlu menjelaskan kepada non-statistik apa perbedaan dengan model statistik standar. Terutama, saya ingin menggambarkan mengapa dan kapan …

10 bayesian  hierarchical-bayesian 

Cross memposting pertanyaan saya dari mathoverflow untuk menemukan beberapa bantuan khusus statistik. Saya sedang mempelajari proses fisik menghasilkan data yang diproyeksikan dengan baik ke dalam dua dimensi dengan nilai-nilai non-negatif. Setiap proses memiliki trek (diproyeksikan) titik - y - lihat gambar di bawah ini.xxxyyy Jejak sampel berwarna biru, jenis trek …

10 distributions  modeling  predictive-models  fitting  curve-fitting 

Ketika berita berbicara tentang hal-hal yang 'terbukti secara statistik' apakah mereka menggunakan konsep statistik yang terdefinisi dengan benar, menggunakannya salah, atau hanya menggunakan oxymoron? Saya membayangkan bahwa 'bukti statistik' sebenarnya bukan sesuatu yang dilakukan untuk membuktikan hipotesis, atau bukti matematika, tetapi lebih dari 'uji statistik'.

10 inference  proof 

Asumsikan t-test satu-sampel, di mana hipotesis nol adalah . Statistik ini kemudian menggunakan deviasi standar sampel . Dalam mengestimasi , satu membandingkan pengamatan dengan mean sampel :μ=μ0μ=μ0\mu=\mu_0t=x¯¯¯−μ0s/n√t=x¯−μ0s/nt=\frac{\overline{x}-\mu_0}{s/\sqrt{n}}ssssssx¯¯¯x¯\overline{x} s=1n−1∑ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−−−√s=1n−1∑i=1n(xi−x¯)2s=\sqrt{\frac{1}{n-1}\sum_{i=1}^n (x_i-\overline{x})^2} . Namun, jika kita menganggap diberikan benar, kita juga bisa memperkirakan standar deviasi menggunakan sebagai ganti mean sampel :μ0μ0\mu_0s∗s∗s^*μ0μ0\mu_0x¯¯¯x¯\overline{x} s∗=1n−1∑ni=1(xi−μ0)2−−−−−−−−−−−−−−−−√s∗=1n−1∑i=1n(xi−μ0)2s^*=\sqrt{\frac{1}{n-1}\sum_{i=1}^n (x_i-\mu_0)^2} …

10 mathematical-statistics  variance  t-test 

Saya sangat baru dalam analisis cluster. Saya menggunakan R untuk k-means clustering dan saya bertanya-tanya apa itu. Dan apa yang lebih baik jika rasio mereka lebih kecil atau lebih besar?

10 clustering 

Misalkan saya memiliki tanggapan bivariat dengan korelasi signifikan. Saya mencoba membandingkan dua cara untuk memodelkan hasil ini. Salah satu caranya adalah dengan memodelkan perbedaan antara dua hasil: Cara lain adalah dengan menggunakan atau untuk memodelkannya: ( y i j = β 0 + waktu + X ′ β )(yi2−yi1=β0+X′β)(yi2−yi1=β0+X′β)(y_{i2}-y_{i1}=\beta_0+X'\beta)glsgee(yij=β0+time+X′β)(yij=β0+time+X′β)(y_{ij}=\beta_0+\text{time}+X'\beta) Berikut …

10 r  regression  model-selection 

Saya membaca diskusi di Hacker News tentang penggunaan standar deviasi yang bertentangan dengan metrik lain seperti rata-rata deviasi absolut. Jadi, jika kita mengikuti prinsip entropi maksimum, distribusi seperti apa yang akan kita gunakan jika kita hanya tahu mean distribusi dan mean penyimpangan absolut? Atau apakah lebih masuk akal untuk menggunakan …

10 distributions  maximum-entropy  mad 

Apakah ada alasan untuk tidak memutar solusi analisis faktor eksplorasi? Sangat mudah untuk menemukan diskusi yang membandingkan solusi ortogonal dengan solusi miring, dan saya pikir saya benar-benar memahami semua hal itu. Juga, dari apa yang saya dapat temukan dalam buku teks, penulis biasanya langsung menjelaskan metode estimasi faktor analisis menjadi …

10 factor-analysis  factor-rotation 

Saya baru dalam analisis bertahan hidup dan saya baru-baru ini belajar bahwa ada berbagai cara untuk melakukannya dengan tujuan tertentu. Saya tertarik pada implementasi aktual dan kesesuaian metode ini. Saya diberi Cox Proportional-Hazards tradisional , model waktu kegagalan yang dipercepat dan jaringan saraf (multilayer perceptron) sebagai metode untuk mendapatkan kelangsungan …

10 r  machine-learning  survival  neural-networks  cox-model