Statistik dan Big Data

Saya membandingkan sampel dan memeriksa apakah itu terdistribusi sebagai beberapa, diskrit, distribusi. Namun, saya tidak yakin bahwa Kolmogorov-Smirnov berlaku. Wikipedia tampaknya menyiratkan tidak. Jika tidak, bagaimana saya bisa menguji distribusi sampel?

29 hypothesis-testing  discrete-data  kolmogorov-smirnov 

Apa sajakah podcast yang terkait dengan analisis statistik? Saya telah menemukan beberapa rekaman audio kuliah di ITunes U, tetapi saya tidak mengetahui adanya podcast statistik. Hal terdekat yang saya ketahui adalah podcast riset operasi The Science of Better . Menyentuh masalah statistik, tetapi tidak secara khusus menunjukkan statistik.

29 references 

Jadi, saya memiliki kumpulan data persentase seperti ini: 100 / 10000 = 1% (0.01) 2 / 5 = 40% (0.4) 4 / 3 = 133% (1.3) 1000 / 2000 = 50% (0.5) Saya ingin menemukan standar deviasi dari persentase, tetapi ditimbang untuk volume data mereka. yaitu, titik data pertama dan …

29 standard-deviation  excel  weighted-mean 

Apa pilihan variabel / fitur yang Anda sukai untuk klasifikasi biner ketika ada lebih banyak variabel / fitur daripada pengamatan dalam set pembelajaran? Tujuannya di sini adalah untuk membahas prosedur pemilihan fitur apa yang mengurangi kesalahan klasifikasi terbaik. Kita dapat memperbaiki notasi untuk konsistensi: untuk , mari menjadi kumpulan pembelajaran …

29 machine-learning  classification  multiple-comparisons  multivariate-analysis  feature-selection 

Bagaimana saya bisa menguji keadilan dadu dua sisi (d20)? Jelas saya akan membandingkan distribusi nilai dengan distribusi yang seragam. Samar-samar saya ingat menggunakan tes Chi-square di perguruan tinggi. Bagaimana saya bisa menerapkan ini untuk melihat apakah mati itu adil?

29 hypothesis-testing  chi-squared  goodness-of-fit  uniform  dice 

Saya selalu menggunakan lm()dalam R untuk melakukan regresi linier pada . Fungsi itu mengembalikan koefisien sehinggayyyxxxββ\betay=βx.y=βx.y = \beta x. Hari ini saya belajar tentang kuadrat terkecil total dan princomp()fungsi itu (analisis komponen utama, PCA) dapat digunakan untuk melakukannya. Itu harus baik untuk saya (lebih akurat). Saya telah melakukan beberapa tes …

29 r  pca  least-squares  deming-regression  total-least-squares 

Apakah mungkin untuk menguji ketelitian (atau keberadaan) dari varians dari variabel acak yang diberikan sampel? Sebagai nol, {varians ada dan terbatas} atau {varians tidak ada / tidak terbatas} akan diterima. Secara filosofis (dan komputasi), ini tampak sangat aneh karena seharusnya tidak ada perbedaan antara populasi tanpa varian terbatas, dan populasi …

29 hypothesis-testing  variance  central-limit-theorem 

Dalam teknik reduksi dimensionalitas seperti Principal Component Analysis, LDA dll sering istilah manifold digunakan. Apa yang banyak ragam dalam istilah non-teknis? Jika suatu titik milik bola yang dimensi yang ingin saya kurangi, dan jika ada suara dan dan tidak berkorelasi, maka titik sebenarnya akan jauh terpisah satu sama lain karena …

29 terminology  manifold-learning 

The Mean Absolute Perscentage Error ( mape ) adalah akurasi umum atau ukuran kesalahan untuk seri waktu atau prediksi lainnya, MAPE = 100n∑t = 1n| SEBUAHt- Ft|SEBUAHt% ,PETA=100n∑t=1n|SEBUAHt-Ft|SEBUAHt%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, di mana adalah aktual dan sesuai perkiraan atau prediksi.F tSEBUAHtSEBUAHtA_tFtFtF_t MAPE adalah persentase, jadi kami dapat dengan mudah membandingkannya …

29 accuracy  mape 

Apakah ada teknik bootstrap yang tersedia untuk menghitung interval prediksi untuk prediksi titik yang diperoleh misalnya dari regresi linier atau metode regresi lainnya (k-tetangga terdekat, pohon regresi dll)? Entah bagaimana saya merasa bahwa cara yang kadang-kadang diusulkan untuk hanya menghapus prediksi titik (lihat misalnya interval prediksi untuk regresi kNN ) …

29 bootstrap  prediction-interval 

Saya telah diberitahu bahwa bermanfaat untuk menggunakan validasi lintas bertingkat terutama ketika kelas respons tidak seimbang. Jika salah satu tujuan validasi silang adalah untuk membantu menjelaskan keacakan sampel data pelatihan asli kami, tentu membuat setiap lipatan memiliki distribusi kelas yang sama akan bekerja melawan hal ini kecuali Anda yakin set …

29 cross-validation  resampling  stratification 

Saya memiliki model regresi logistik biner dengan pseudo R-kuadrat McFadden dari 0,192 dengan variabel dependen yang disebut pembayaran (1 = pembayaran dan 0 = tidak ada pembayaran). Apa interpretasi pseudo R-squared ini? Apakah ini perbandingan relatif untuk model bersarang (misalnya model 6 variabel memiliki pseudo R-kuadrat McFadden sebesar 0,192, sedangkan …

29 regression  self-study  logistic 

Saya memvalidasi silang model yang mencoba memprediksi hitungan. Jika ini adalah masalah klasifikasi biner, saya akan menghitung AUC out-of-fold, dan jika ini adalah masalah regresi saya akan menghitung RMSE atau MAE out-of-fold Untuk model Poisson, metrik kesalahan apa yang dapat saya gunakan untuk mengevaluasi "keakuratan" dari prediksi out-of-sample? Apakah ada …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Kita dapat menggunakan lm()untuk memprediksi nilai, tetapi kita masih membutuhkan persamaan rumus hasil dalam beberapa kasus. Misalnya, tambahkan persamaan ke plot.

29 r  regression  lm 

Saya mencoba menggunakan scikit-learning untuk regresi polinomial. Dari apa yang saya baca regresi polinomial adalah kasus khusus dari regresi linier. Saya berharap bahwa mungkin salah satu model linear umum scikit dapat diparameterisasi agar sesuai dengan polinomial berurutan lebih tinggi tetapi saya tidak melihat opsi untuk melakukan itu. Saya berhasil menggunakan …

29 regression  machine-learning  large-data  polynomial  scikit-learn