Statistik dan Big Data

Setelah menemukan diskusi ini, saya mengajukan pertanyaan tentang konvensi interval kepercayaan yang ditransformasikan kembali. Menurut artikel ini , cakupan nominal back-transformed CI untuk rata-rata variabel acak log-normal adalah: LCL(X)=exp(Y+var(Y) UCL ( X) = exp( Y+ var ( Y)2+ zvar ( Y)n+ var ( Y)22 ( n - 1 )------------√) UCL(X)=exp⁡(Y+var(Y)2+zvar(Y)n+var(Y)22(n−1))\ …

11 confidence-interval  data-transformation  back-transformation 

Berapa taksiran parameter rumus untuk condong-normal? Jika Anda bisa, derivasi melalui MLE atau Mom akan lebih bagus juga. Terima kasih Edit . Saya memiliki satu set data yang dapat saya kirim secara visual dengan plot agak miring ke kiri. Saya ingin memperkirakan mean dan varians dan kemudian melakukan tes goodness-of-fit …

11 normal-distribution  maximum-likelihood  skewness  skew-normal 

Penafian: jika Anda menemukan pertanyaan ini terlalu mirip dengan yang lain, saya senang bisa digabung. Namun, saya tidak menemukan jawaban yang memuaskan di tempat lain (dan belum memiliki "reputasi" untuk berkomentar atau mendukung), jadi saya pikir akan lebih baik untuk mengajukan pertanyaan baru sendiri. Pertanyaan saya adalah ini. Untuk masing-masing …

11 correlation  statistical-significance  fisher-transform 

Jika saya memiliki model regresi: mana dan ,Y=Xβ+εY=Xβ+ε Y = X\beta + \varepsilon V[ε]=Id∈Rn×nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n}E[ε]=(0,…,0)E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) kapan akan menggunakan , estimator kuadrat terkecil biasa dari , menjadi pilihan yang buruk untuk estimator?βOLSβOLS\beta_{\text{OLS}}ββ\beta Saya mencoba mencari tahu contoh kuadrat paling tidak berfungsi dengan …

11 regression  distributions  least-squares 

SurveyMonkey memiliki langkah-langkah dan bagan untuk Anda mengetahui ukuran sampel apa yang Anda butuhkan untuk margin kesalahan atau interval kepercayaan tertentu, berdasarkan pada ukuran populasi Anda. Ukuran sampel SurveyMonkey Apakah bagan ini mengabaikan fakta bahwa Anda tidak akan mendapatkan sampel acak, karena Anda hanya membuat orang-orang yang repot-repot menanggapi survei? …

11 confidence-interval  sample-size  survey  sample 

Saya mereproduksi contoh dari Generalized, Linear, and Mixed Models . MWE saya di bawah ini: Dilution <- c(1/128, 1/64, 1/32, 1/16, 1/8, 1/4, 1/2, 1, 2, 4) NoofPlates <- rep(x=5, times=10) NoPositive <- c(0, 0, 2, 2, 3, 4, 5, 5, 5, 5) Data <- data.frame(Dilution, NoofPlates, NoPositive) fm1 <- …

11 r  logistic  generalized-linear-model  likelihood-ratio  z-test 

Saya menjalankan PCA pada 17 variabel kuantitatif untuk mendapatkan serangkaian variabel yang lebih kecil, yaitu komponen utama, yang akan digunakan dalam pembelajaran mesin yang diawasi untuk mengklasifikasikan instance ke dalam dua kelas. Setelah PCA, PC1 menyumbang 31% dari varians dalam data, PC2 menyumbang 17%, PC3 menyumbang 10%, PC4 menyumbang 8%, …

11 machine-learning  classification  pca  dimensionality-reduction 

Saya mencoba mencari cara untuk mereproduksi di Python beberapa pekerjaan yang telah saya lakukan di SAS. Menggunakan dataset ini , di mana multicollinearity adalah masalah, saya ingin melakukan analisis komponen utama dalam Python. Saya telah melihat scikit-learn dan statsmodels, tapi saya tidak yakin bagaimana mengambil output mereka dan mengubahnya menjadi …

11 pca  python  scikit-learn 

Saya bukan seorang ahli ekologi komunitas, tetapi hari ini saya sedang mengerjakan data ekologi komunitas. Apa yang saya tidak bisa mengerti, terlepas dari matematika dari jarak ini, adalah kriteria untuk setiap jarak yang digunakan dan dalam situasi apa itu dapat diterapkan. Misalnya, apa yang harus digunakan dengan data hitungan? Bagaimana …

11 distance  euclidean 

Saya ingin menetapkan bobot yang berbeda untuk variabel dalam analisis kluster saya, tetapi program saya (Stata) tampaknya tidak memiliki opsi untuk ini, jadi saya harus melakukannya secara manual. Bayangkan 4 variabel A, B, C, D. Bobot untuk variabel-variabel tersebut seharusnya w(A)=50% w(B)=25% w(C)=10% w(D)=15% Saya bertanya-tanya apakah salah satu dari …

11 clustering  stata 

Saya ingin memeriksa Rapakah data saya sesuai dengan distribusi log-normal atau Pareto. Bagaimana saya bisa melakukan itu? Mungkin ks.testbisa membantu saya melakukan itu, tetapi bagaimana saya bisa mendapatkan parameter dan untuk distribusi Pareto untuk data saya?αα\alphakkk

11 r  regression  distributions  lognormal  pareto-distribution 

Saat ini saya sedang mengerjakan perangkat lunak pengenal wajah yang menggunakan jaringan saraf konvolusi untuk mengenali wajah. Berdasarkan bacaan saya, saya telah mengumpulkan bahwa jaringan saraf convolutional telah berbagi bobot, sehingga menghemat waktu selama pelatihan. Tapi, bagaimana cara mengadaptasi backpropagation sehingga dapat digunakan dalam jaringan saraf konvolusi. Dalam backpropagation, seseorang …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

Dalam makalah ini: Mengintai Variabel: Beberapa Contoh Brian L. Joiner The American Statistician Vol. 35, No. 4, November, 1981 227-233 Brian Joiner mengklaim bahwa "pengacakan bukanlah obat mujarab". Ini bertentangan dengan pernyataan umum seperti yang di bawah ini: Eksperimen yang dirancang dengan baik mencakup fitur desain yang memungkinkan para peneliti …

11 confounding  random-allocation 

Katakanlah saya memiliki serangkaian instance dengan label kelas yang terkait. Tidak masalah bagaimana label ini diberi label, tetapi seberapa yakin keanggotaan kelas mereka. Setiap instanc milik tepat satu kelas. Katakanlah saya dapat mengukur kepastian setiap keanggotaan kelas dengan atribut nominal yang berubah dari 1 menjadi 3 (sangat pasti menjadi tidak …

11 classification  weka  uncertainty 

Saya sedang menjalankan simulasi cepat untuk membandingkan metode pengelompokan yang berbeda, dan saat ini mengalami kesulitan mencoba untuk mengevaluasi solusi cluster. Saya tahu berbagai metrik validasi (banyak ditemukan di cluster.stats () di R), tetapi saya menganggap itu paling baik digunakan jika perkiraan jumlah cluster sebenarnya sama dengan jumlah sebenarnya dari …

11 clustering  kullback-leibler  gaussian-mixture