Statistik dan Big Data

SPSS memberikan output "interval kepercayaan dari perbedaan berarti." Saya telah membaca di beberapa tempat bahwa itu berarti "95 kali dari 100, perbedaan rata-rata sampel kami akan berada di antara batas-batas ini" Saya menemukan ini tidak jelas. Adakah yang bisa menyarankan kata-kata yang lebih jelas untuk menjelaskan "interval kepercayaan perbedaan dalam …

21 confidence-interval 

Untuk mengelompokkan dokumen (teks) Anda perlu cara mengukur kesamaan antara pasangan dokumen. Dua alternatif adalah: Bandingkan dokumen sebagai vektor istilah menggunakan Cosine Similarity - dan TF / IDF sebagai bobot untuk persyaratan. Bandingkan setiap distribusi probabilitas dokumen menggunakan f-divergence misalnya divergensi Kullback-Leibler Apakah ada alasan intuitif untuk memilih satu metode …

21 information-retrieval 

Saya telah menggunakan distribusi log normal sebagai distribusi sebelumnya untuk parameter skala (untuk distribusi normal, distribusi t, dll.) Ketika saya memiliki gagasan kasar tentang apa skala seharusnya, tetapi ingin berbuat salah di sisi mengatakan saya tidak tahu banyak tentang itu. Saya menggunakannya karena penggunaan itu masuk akal bagi saya, tetapi …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Saya memiliki beberapa data yang saya coba cocokkan dengan trendline. Saya percaya data mengikuti hukum kekuatan, dan telah merencanakan data pada sumbu log-mencari garis lurus. Ini telah menghasilkan (hampir) garis lurus dan di Excel saya telah menambahkan trendline untuk undang-undang kekuasaan. Menjadi statistik newb, pertanyaan saya adalah, apa yang sekarang …

21 goodness-of-fit  power-law 

Saya ingin sepenuhnya memahami gagasan menggambarkan jumlah variasi antar variabel. Setiap penjelasan web sedikit mekanis dan tumpul. Saya ingin "mendapatkan" konsepnya, bukan hanya menggunakan angka secara mekanis.r2r2r^2 Misalnya: Jam belajar vs skor tes rrr = .8 r2r2r^2 = .64 So, what does this mean? 64% of the variability of test …

21 regression  correlation  variance 

Di sini, lihat: Anda dapat melihat dengan tepat di mana data pelatihan berakhir. Data pelatihan berubah dari menjadi .−1−1-1111 Saya menggunakan Keras dan jaringan padat 1-100-100-2 dengan aktivasi tanh. Saya menghitung hasil dari dua nilai, p dan q sebagai p / q. Dengan cara ini saya dapat mencapai ukuran angka …

21 regression  neural-networks  python  keras 

Saya bertanya-tanya apakah mungkin untuk menghasilkan variabel binomial acak berkorelasi mengikuti pendekatan transformasi linier? Di bawah ini, saya mencoba sesuatu yang sederhana dalam R dan menghasilkan beberapa korelasi. Tapi saya bertanya-tanya apakah ada cara berprinsip untuk melakukan ini? X1 = rbinom(1e4, 6, .5) ; X2 = rbinom(1e4, 6, .5) ; …

21 r  correlation  binomial  random-generation  bernoulli-distribution 

Katakanlah saya memiliki model yang memberi saya nilai-nilai yang diproyeksikan. Saya menghitung RMSE dari nilai-nilai itu. Dan kemudian standar deviasi dari nilai aktual. Apakah masuk akal untuk membandingkan kedua nilai (varians)? Apa yang saya pikirkan adalah, jika RMSE dan standar deviasi sama / sama maka kesalahan / varians model saya …

21 standard-deviation  standard-error  rms 

Saya telah membaca tentang validasi k-fold, dan saya ingin memastikan saya mengerti cara kerjanya. Saya tahu bahwa untuk metode holdout, data dibagi menjadi tiga set, dan set tes hanya digunakan di bagian paling akhir untuk menilai kinerja model, sedangkan set validasi digunakan untuk menyetel hyperparameters, dll. Dalam metode k-fold, apakah …

21 cross-validation  validation  out-of-sample 

Apa cara paling benar informasi / fisika-teoretis untuk menghitung entropi suatu gambar? Saya tidak peduli dengan efisiensi komputasi saat ini - saya ingin secara teoritis seakurat mungkin. Mari kita mulai dengan gambar skala abu-abu. Salah satu pendekatan intuitif adalah mempertimbangkan gambar sebagai sekumpulan piksel dan menghitung mana adalah jumlah tingkat …

21 spatial  entropy  image-processing 

Dengan paket Stan dan frontend rstanarmatau brmssaya dapat dengan mudah menganalisis data dengan cara Bayesian seperti yang saya lakukan sebelumnya dengan model campuran seperti lme. Sementara saya memiliki sebagian besar buku dan artikel oleh Kruschke-Gelman-Wagenmakers-dll di meja saya, ini tidak memberi tahu saya bagaimana meringkas hasil untuk audiens medis, terpecah …

21 statistical-significance  bayesian  stan  credible-interval  medicine 

Saya memiliki satu set besar fitur vektor yang akan saya gunakan untuk menyerang masalah klasifikasi biner (menggunakan scikit belajar dengan Python). Sebelum saya mulai berpikir tentang imputasi, saya tertarik untuk mencoba menentukan dari bagian data yang tersisa apakah data yang hilang 'hilang secara acak' atau hilang bukan secara acak. Apa …

21 missing-data  randomness 

Bagaimana cara kerja metode inversi? Katakanlah saya memiliki sampel acak X1, X2, . . . , XnX1,X2,...,XnX_1,X_2,...,X_n dengan kepadatan lebih dari dan karenanya dengan cdf pada . Kemudian dengan metode inversi saya mendapatkan distribusi sebagai . 0<x<1FX(x)=x1/θ(0,1)XF - 1 X(u)=uθf( x ; θ ) = 1θx( 1 - θ )θf(x;θ)=1θx(1−θ)θf(x;\theta)={1\over …

21 r  distributions  inference  random-generation  inverse-cdf 

Saya tidak mengerti mengapa variabel acak "binomial negatif" memiliki nama itu. Apa yang negatif tentang itu? Apa itu binomial? Apa yang negatif-binomial tentang hal itu?

21 distributions  random-variable  terminology  negative-binomial 

Pertimbangkan model standar untuk regresi berganda mana , jadi normalitas, homoscedasticity, dan tidak berkorelasi kesalahan tetap ada.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2sayan)ε∼N(0,σ2sayan)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Misalkan kita melakukan regresi ridge, dengan menambahkan jumlah kecil yang sama untuk …

21 regression  assumptions  ridge-regression