Statistik dan Big Data

Saya bekerja dengan kumpulan data yang memiliki N sekitar 200.000. Dalam regresi, saya melihat nilai signifikansi yang sangat kecil << 0,001 terkait dengan ukuran efek yang sangat kecil, misalnya r = 0,028. Yang ingin saya ketahui adalah, apakah ada cara berprinsip untuk menentukan ambang batas signifikansi yang sesuai terkait dengan …

15 regression  probability  statistical-significance  sample-size 

Sudah lama sejak saya melihat pohon partisi. Terakhir kali saya melakukan hal semacam ini, saya suka pesta di R (dibuat oleh Hothorn). Ide inferensi bersyarat melalui pengambilan sampel masuk akal bagi saya. Tetapi rpart juga memiliki daya tarik. Dalam aplikasi saat ini (saya tidak bisa memberikan rincian, tetapi itu melibatkan …

15 r  cart  rpart  partitioning 

Suppose I have constructed a prediction model for the occurrence of a particular disease in one dataset (the model building dataset) and now want to check how well the model works in a new dataset (the validation dataset). For a model built with logistic regression, I would calculate the predicted …

15 predictive-models  cross-validation  survival  roc 

Ada beberapa pertanyaan dan set jawaban yang bagus tentang buku-buku pengantar atau pendekatan untuk belajar R misalnya di sini dan di sini . Tetapi saya memiliki masalah yang sedikit berbeda - cara terbaik untuk menjalankan sesi panjang satu jam (atau beberapa sesi seperti itu) di laboratorium komputer yang akan membuat …

15 r  teaching 

Saya sebenarnya menulis implementasi Hutan Acak tapi saya yakin pertanyaannya khusus untuk pohon keputusan (terlepas dari RF). Jadi konteksnya adalah bahwa saya membuat simpul di pohon keputusan dan kedua variabel prediksi dan target kontinu. Node memiliki ambang batas untuk membagi data menjadi dua set, dan saya membuat prediksi baru untuk …

15 algorithms  cart  random-forest 

Pertanyaan yang ingin saya tanyakan adalah: bagaimana proporsi sampel dalam 1 SD dari rata-rata distribusi normal bervariasi seiring dengan meningkatnya jumlah varian? (Hampir) semua orang tahu bahwa dalam distribusi normal 1 dimensi, 68% sampel dapat ditemukan dalam 1 standar deviasi rata-rata. Bagaimana dengan dalam dimensi 2, 3, 4, ...? Saya …

15 normal-distribution  multivariate-analysis 

Salah satu hal yang membuat ekonometrik unik adalah penggunaan teknik Generalized Method of Moments. Jenis masalah apa yang membuat GMM lebih sesuai daripada teknik estimasi lainnya? Apa yang digunakan GMM untuk membeli Anda dalam hal efisiensi atau pengurangan bias atau estimasi parameter yang lebih spesifik? Sebaliknya, apa yang Anda kehilangan …

15 econometrics  generalized-moments 

Apakah ada yang punya referensi ke ringkasan analisis run-time untuk algoritma pembelajaran mesin umum (rasa yang berbeda dari NN, SVM, dll)?

15 machine-learning  references  algorithms 

Katakanlah saya punya satu set besar SSS nilai yang kadang-kadang berulang. Saya ingin memperkirakan jumlah total nilai unik di set besar. Jika saya mengambil sampel acak dari nilai-nilai, dan menentukan bahwa itu berisi T u nilai unik, saya dapat menggunakan ini untuk memperkirakan jumlah nilai unik dalam set besar?TTTTkamuTkamuT_u

15 estimation  sampling 

Seperti yang saya pahami, kita bisa mendapatkan korelasi dengan menormalkan kovarians menggunakan persamaan ρi,j=cov(Xi,Xj)σiσjρi,j=cov(Xi,Xj)σiσj\rho_{i,j}=\frac{cov(X_i, X_j)}{\sigma_i \sigma_j} dimana adalah standar deviasiXi.σi=E[(Xi−μi)2]−−−−−−−−−−−√σi=E[(Xi−μi)2]\sigma_i=\sqrt{E[(X_i-\mu_i)^2]}XiXiX_i Kekhawatiran saya adalah bagaimana jika standar deviasi sama dengan nol? Apakah ada syarat yang menjamin tidak boleh nol? Terima kasih.

15 correlation  standard-deviation  covariance 

Saya baru belajar Mesin. Saat ini saya menggunakan classifier Naive Bayes (NB) untuk mengklasifikasikan teks kecil dalam 3 kelas sebagai positif, negatif atau netral, menggunakan NLTK dan python. Setelah melakukan beberapa tes, dengan dataset yang terdiri dari 300.000 instance (16.924 positif, 7.477 negatif, dan 275.599 netral), saya menemukan bahwa ketika …

15 machine-learning  classification  naive-bayes  precision-recall 

Saya memiliki beberapa jerat 3D triangulasi. Statistik untuk area segitiga adalah: Min 0.000 Maks 2341.141 Berarti 56.317 Std dev 98.720 Jadi, apakah itu berarti sesuatu yang sangat berguna tentang standar deviasi atau menyarankan ada bug dalam menghitungnya, ketika angka-angkanya seperti di atas? Wilayah-wilayah tersebut tentu jauh dari distribusi normal. Dan …

15 distributions  mean  standard-deviation 

Saya harap ini adalah tempat yang tepat untuk memposting ini, saya mempertimbangkan untuk mempostingnya pada orang yang skeptis, tetapi saya pikir mereka hanya akan mengatakan bahwa penelitian ini secara statistik salah. Saya ingin tahu tentang sisi lain dari pertanyaan yang bagaimana melakukannya dengan benar. Di situs web Quantified Self , …

15 time-series  change-point 

The halaman bantuan untuk Prism memberikan penjelasan berikut untuk bagaimana menghitung band prediksi untuk regresi non-linear. Maafkan kutipan panjang, tapi saya tidak mengikuti paragraf kedua (yang menjelaskan bagaimana didefinisikan dan dihitung). Bantuan apa pun akan sangat dihargai.d Y / d PG|xG|xG|xdY/dPdY/dPdY/dP Perhitungan band kepercayaan dan prediksi cukup standar. Baca terus …

15 nonlinear-regression  prediction-interval 

Apa classifier 2-kelas out-of-the-box terbaik? Ya, saya kira itu adalah pertanyaan jutaan dolar, dan ya, saya menyadari teorema makan siang gratis , dan saya juga membaca pertanyaan sebelumnya: Apa klasifikasi 2-out-of-the-box terbaik untuk aplikasi Anda? dan pengklasifikasi terburuk Tetap saja, saya tertarik membaca lebih banyak tentang masalah ini. Apa sumber …

15 machine-learning  classification  references