Statistik dan Big Data

Ketika saya menonton berita saya perhatikan bahwa jajak pendapat Gallup untuk hal-hal seperti pemilihan presiden memiliki [saya berasumsi secara acak] ukuran sampel lebih dari 1.000. Dari apa yang saya ingat dari statistik perguruan tinggi adalah bahwa ukuran sampel 30 adalah sampel "sangat besar". Tampaknya ukuran sampel di atas 30 tidak …

32 sampling  sample-size  power-analysis 

Katakanlah ada elemen m+nm+nm+n dibagi menjadi dua kelompok ( mmm dan nnn ). σ2mσm2\sigma_m^2 dari grup pertama adalah \ sigma_m ^ 2 dan varians dari grup kedua adalah σ2nσn2\sigma^2_n . Elemen-elemen itu sendiri dianggap tidak diketahui tetapi saya tahu cara μmμm\mu_m dan μnμn\mu_n . Apakah ada cara untuk menghitung varians …

32 variance  pooling 

Seperti diketahui oleh semua, SVM dapat menggunakan metode kernel untuk memproyeksikan titik data di ruang yang lebih tinggi sehingga titik dapat dipisahkan oleh ruang linear. Tetapi kita juga dapat menggunakan regresi logistik untuk memilih batas ini di ruang kernel, jadi apa kelebihan SVM? Karena SVM menggunakan model jarang di mana …

32 svm 

Bagaimana kita menjelaskan perbedaan antara regresi logistik dan jaringan saraf untuk audiens yang tidak memiliki latar belakang statistik?

32 logistic  neural-networks 

Misalkan saya punya 2 set: Set A : jumlah item , ,n=10n=10n= 10μ=2.4μ=2.4\mu = 2.4σ=0.8σ=0.8\sigma = 0.8 Set B : jumlah item , ,n=5n=5n= 5μ=2μ=2\mu = 2σ=1.2σ=1.2\sigma = 1.2 Saya dapat menemukan mean gabungan ( ) dengan mudah, tetapi bagaimana saya bisa menemukan standar deviasi gabungan?μμ\mu

32 standard-deviation 

" Bagaimana Tidak Mengurutkan Menurut Peringkat Rata-Rata " dari Evan Miller mengusulkan penggunaan batas bawah dari interval kepercayaan untuk mendapatkan "skor" agregat yang masuk akal untuk item yang dinilai. Namun, ini bekerja dengan model Bernoulli: peringkatnya baik jempol ke atas atau jempol ke bawah. Apa interval kepercayaan yang wajar untuk …

32 confidence-interval  estimation 

Bagaimana cara menambahkan poligon yang rapi di sekitar sekelompok titik di sebar? Saya menggunakan ggplot2 tetapi saya kecewa dengan hasilnya geom_polygon. Dataset ada di sana , sebagai file teks yang dibatasi tab. Grafik di bawah ini menunjukkan dua ukuran sikap terhadap kesehatan dan pengangguran di banyak negara: Saya ingin beralih …

32 ggplot2  scatterplot 

Anda dapat memiliki data dalam format lebar atau format panjang. Ini adalah hal yang cukup penting, karena metode yang dapat digunakan berbeda, tergantung pada formatnya. Saya tahu Anda harus bekerja dengan melt()dan cast()dari paket membentuk kembali, tetapi tampaknya ada beberapa hal yang tidak saya dapatkan. Bisakah seseorang memberi saya gambaran …

32 data-transformation  r 

Sebuah makalah " Menghitung varian berjalan secara akurat" di http://www.johndcook.com/standard_deviation.html menunjukkan cara menghitung rata-rata berjalan, varian, dan standar deviasi. Apakah ada algoritma di mana parameter model regresi linier atau logistik dapat diperbarui "secara dinamis" dengan cara yang sama ketika setiap catatan pelatihan baru diberikan?

32 regression  logistic  online 

Saya memiliki model efek campuran (sebenarnya model campuran aditif umum) yang memberi saya prediksi untuk jangka waktu. Untuk mengatasi autokorelasi, saya menggunakan model corCAR1, mengingat fakta saya memiliki data yang hilang. Data seharusnya memberi saya beban total, jadi saya perlu menjumlahkan seluruh interval prediksi. Tapi saya juga harus mendapatkan estimasi …

32 mixed-model  variance  random-variable 

Bagaimana cara mendapatkan variabel (atribut) penting menggunakan SVM?

32 machine-learning  feature-selection  svm 

Saya menganalisis kumpulan data eksperimental. Data terdiri dari vektor pasangan jenis pengobatan dan hasil binomial: Treatment Outcome A 1 B 0 C 0 D 1 A 0 ... Di kolom hasil, 1 menunjukkan keberhasilan dan 0 menunjukkan kegagalan. Saya ingin mencari tahu apakah perawatan secara signifikan memvariasikan hasilnya. Ada 4 …

32 logistic  anova  binomial  experiment-design 

Saya seorang programmer tanpa latar belakang statistik, dan saat ini saya sedang mencari metode klasifikasi yang berbeda untuk sejumlah besar dokumen yang berbeda yang ingin saya klasifikasikan ke dalam kategori yang telah ditentukan. Saya telah membaca tentang kNN, SVM dan NN. Namun, saya kesulitan memulai. Sumber daya apa yang Anda …

32 classification  information-retrieval  text-mining 

Saya bertanya-tanya apakah ada distribusi selain normal di mana mean dan varians independen satu sama lain (atau dengan kata lain, di mana varians bukanlah fungsi dari mean).

32 distributions 

Ini adalah pertanyaan yang mirip dengan yang ada di sini , tetapi cukup berbeda menurut saya layak untuk ditanyakan. Saya pikir saya akan menjadi starter, apa yang saya pikir salah satu yang paling sulit untuk dipahami adalah. Milik saya adalah perbedaan antara probabilitas dan frekuensi . Yang satu berada pada …

32 teaching