Statistik dan Big Data

Ketika memodelkan proporsi berkelanjutan (misalnya tutupan vegetasi proporsional pada kuadrat survei, atau proporsi waktu yang terlibat dalam suatu kegiatan), regresi logistik dianggap tidak sesuai (misalnya Warton & Hui (2011). Arcsine adalah asinin: analisis proporsi dalam ekologi ). Sebaliknya, regresi OLS setelah mentransformasi proporsi, atau mungkin regresi beta, lebih tepat. Di …

11 r  regression  logistic 

Saya memiliki beberapa data ordinal yang tidak terdistribusi secara normal, jadi saya memutuskan untuk melakukan pengujian non-parametrik menggunakan Mann-Whitney U Test. Saya melihat perbedaan antara kelompok untuk tujuh skor - skor ini 0, 1, 2, atau 3 untuk setiap mata pelajaran. Saya mengalami kesulitan mencari tahu cara menampilkan data saya! …

11 spss  mean  wilcoxon-mann-whitney  ranks  presentation 

Saat ini saya mencoba menangani pelanggaran terhadap asumsi ANOVA. Saya telah menggunakan Shapiro-Wilk untuk menguji normalitas, dan telah mencoba-coba dengan tes Levene dan Bartlett tentang kesetaraan varian. Sejak saat itu saya mengubah data saya untuk mencoba dan memperbaiki varian yang tidak sama. Saya memutar ulang tes Bartlett pada data transformasi …

11 anova  data-transformation  heteroscedasticity  levenes-test 

Saya ingin melakukan hal berikut: 1) Regresi OLS (tanpa istilah hukuman) untuk mendapatkan koefisien beta ; adalah variabel yang digunakan untuk regresi. Saya melakukan ini denganb∗jbj∗b_{j}^{*}jjj lm.model = lm(y~ 0 + x) betas = coefficients(lm.model) 2) Regresi Lasso dengan masa hukuman, kriteria pemilihannya adalah Kriteria Informasi Bayesian (BIC), yang diberikan …

11 r  regression  glmnet  lars 

Saya melakukan regresi Poisson di SAS dan menemukan bahwa nilai chi-kuadrat Pearson dibagi dengan derajat kebebasan sekitar 5, menunjukkan penyebaran berlebihan. Jadi, saya cocok dengan model binomial negatif dengan proc genmod dan menemukan nilai chi-kuadrat Pearson dibagi dengan derajat kebebasan adalah 0,80. Apakah ini sekarang dianggap kurang tersebar? Jika demikian, …

11 regression  binomial  underdispersion 

Saya memiliki percobaan di mana saya melakukan pengukuran variabel terdistribusi normal YYY, Y∼N(μ,σ)Y∼N(μ,σ)Y \sim N(\mu,\sigma) Namun, percobaan sebelumnya telah memberikan beberapa bukti bahwa standar deviasi σσ\sigma adalah fungsi affine dari variabel independen XXX , yaitu σ=a|X|+bσ=a|X|+b\sigma = a|X| + b Y∼N(μ,a|X|+b)Y∼N(μ,a|X|+b)Y \sim N(\mu,a|X| + b) Saya ingin memperkirakan parameter aaa …

11 normal-distribution  estimation  experiment-design  model  heteroscedasticity 

Latar Belakang Untuk menganalisis perbedaan dalam beberapa variabel kontinu antara kelompok yang berbeda (diberikan oleh variabel kategorikal), seseorang dapat melakukan ANOVA satu arah. Jika ada beberapa variabel penjelas (kategorikal), seseorang dapat melakukan ANOVA faktorial. Jika seseorang ingin menganalisis perbedaan antara kelompok dalam beberapa variabel kontinu (yaitu, beberapa variabel respon), kita …

11 hypothesis-testing  anova  manova 

Dalam kelas statistik dasar tempat saya menjadi TA, profesor menyatakan bahwa ketika probabilitas kesalahan tipe I meningkat, probabilitas kesalahan tipe II β berkurang, dan sebaliknya juga benar. Jadi ini menunjukkan kepada saya bahwa ρ α , β &lt; 0 .αα\alphaββ\betaρα , β&lt; 0ρα,β&lt;0\rho_{\alpha, \beta} < 0 Tetapi bagaimana orang membuktikan …

11 probability  hypothesis-testing  type-i-and-ii-errors 

Saya menjalankan glmm dengan variabel respons binomial dan prediktor kategoris. Efek acak diberikan oleh desain bersarang yang digunakan untuk pengumpulan data. Data terlihat seperti ini: m.gen1$treatment [1] sucrose control protein control no_injection ..... Levels: no_injection control sucrose protein m.gen1$emergence [1] 1 0 0 1 0 1 1 1 1 1 …

11 r  generalized-linear-model  lme4-nlme  separation 

Dapatkah seseorang tolong jelaskan kepada saya kapan harus menggunakan pengotoran Gini dan informasi untuk pohon keputusan? Bisakah Anda memberi saya situasi / contoh kapan sebaiknya menggunakan yang mana?

11 machine-learning  classification  data-mining  cart 

Membaca jawaban untuk utas ini , saya mulai bertanya-tanya tentang bagaimana Tes Hipotesis berhubungan dengan Metode Ilmiah . Meskipun saya memiliki pemahaman yang baik tentang keduanya, saya mengalami kesulitan menggambar hubungan yang tepat di antara mereka. Pada tingkat tinggi, metode ilmiah, turun ke: Buat dugaan &amp; hipotesis (teori) Buat prediksi …

11 hypothesis-testing  inference 

Saya melihat halaman ini tentang implementasi tes Carlofors dari Lillefors. Saya tidak mengerti kalimat ini: Ada kesalahan acak dalam perhitungan ini dari simulasi. Namun, karena trik menambahkan 1 ke pembilang dan penyebut dalam menghitung nilai-P dapat digunakan langsung tanpa memperhatikan keacakan. Apa yang mereka maksud dengan trik menambahkan 1 ke …

11 monte-carlo  lilliefors 

Dalam Elemen Pembelajaran Statistik , masalah diperkenalkan untuk menyoroti masalah dengan k-nn dalam ruang dimensi tinggi. Ada titik data yang terdistribusi secara seragam dalam satuan bola -dimensi.pNNNppp Jarak median dari titik asal ke titik data terdekat diberikan oleh ekspresi: d(p,N)=(1−(12)1N)1pd(p,N)=(1−(12)1N)1pd(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p} Ketika , rumus memecah menjadi setengah jari-jari bola, …

11 self-study  proof  k-nearest-neighbour 

Misalkan saya memiliki set data dimensi di mana dimensi kira-kira ortogonal (memiliki korelasi nol).NNNNNN Apakah ada utilitas dalam hal: Visualisasi Representasi (untuk efisiensi pengklasifikasi) Atau kriteria lainnya melakukan pengurangan dimensi pada data?

11 pca  dimensionality-reduction 

Saya sedang melihat jajak pendapat WashingtonTimes / ABC, dan hasilnya rusak, terutama berdasarkan usia, tampak mengejutkan bagi saya. Jadi saya pergi mencari bias. Dikatakan: "jajak pendapat dilakukan melalui telepon 11-14 Desember 2014, di antara sampel acak 1.000 orang dewasa. Wawancara dilakukan dalam bahasa Inggris dan Spanyol pada telepon rumah dan …

11 polling  politics