Statistik dan Big Data

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya melihat plot ini dalam suplemen kertas baru - baru ini dan saya ingin dapat mereproduksi menggunakan R. Ini adalah sebaran, tetapi untuk memperbaiki overplotting ada …

23 r  data-visualization  scatterplot 

Apakah ada implementasi hutan acak R yang bekerja dengan baik dengan data yang sangat jarang? Saya memiliki ribuan atau jutaan variabel input boolean, tetapi hanya ratusan atau lebih akan BENAR untuk setiap contoh yang diberikan. Saya relatif baru untuk R dan memperhatikan bahwa ada paket 'Matrix' untuk menangani data yang …

23 r  random-forest  sparse 

Saya membaca "The Drunkard's Walk" sekarang dan tidak dapat memahami satu cerita dari itu. Ini dia: Bayangkan bahwa George Lucas membuat film Star Wars baru dan dalam satu uji pasar memutuskan untuk melakukan eksperimen gila. Dia merilis film yang identik dengan dua judul: "Star Wars: Episode A" dan "Star Wars: …

23 probability  bernoulli-distribution 

Misalkan saya memiliki model prediktif yang menghasilkan, untuk setiap contoh, probabilitas untuk setiap kelas. Sekarang saya menyadari bahwa ada banyak cara untuk mengevaluasi model seperti itu jika saya ingin menggunakan probabilitas tersebut untuk klasifikasi (presisi, penarikan, dll.). Saya juga mengakui bahwa kurva ROC dan area di bawahnya dapat digunakan untuk …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Apa perbedaan semantik antara Mean Squared Error (MSE) dan Mean Squared Prediction Error (MSPE)?

23 regression  estimation  interpretation  error  prediction 

Saya menggunakan JMP untuk memeriksa perbedaan tutupan vegetasi dalam kelompok bentuk pertumbuhan (pohon, semak, forb, dll.) Sebelum dan sesudah tiga perlakuan dengan kontrol. Ukuran sampel saya kecil (n = 5) dan sebagian besar distribusi saya tidak terdistribusi normal. Untuk distribusi normal saya menggunakan ANOVA untuk menganalisis perbedaan (perubahan persen) antara …

23 multiple-comparisons  nonparametric  tukey-hsd 

Jika saya memiliki sampel iid multivariat normal , dan tentukan (yang merupakan semacam jarak Mahalanobis [kuadrat] dari titik sampel ke vektor menggunakan matriks untuk menentukan bobot), berapakah distribusi (jarak Mahalanobis ke sampel mean menggunakan sampel kovarians matriks )?d 2 i ( b , A ) = ( X i - …

23 multivariate-analysis  outliers 

Saya ingin tahu apakah selalu ada maximizer untuk masalah estimasi kemungkinan maksimum (log-)? Dengan kata lain, apakah ada beberapa distribusi dan beberapa parameternya, di mana masalah MLE tidak memiliki maximizer? Pertanyaan saya berasal dari klaim seorang insinyur bahwa fungsi biaya (kemungkinan atau log-kemungkinan, saya tidak yakin yang dimaksudkan) di MLE …

23 maximum-likelihood  optimization 

Saya berpartisipasi dalam kompetisi pemodelan prediktif di Kaggle , TunedIt , dan CrowdAnalytix . Saya menemukan bahwa situs-situs ini adalah cara yang baik untuk "berolahraga" untuk statistik / pembelajaran mesin. Apakah ada situs lain yang harus saya ketahui? Bagaimana perasaan Anda semua tentang kompetisi di mana tuan rumah ingin mendapat …

23 machine-learning  predictive-models 

Saya memiliki matriks dengan dua kolom yang memiliki banyak harga (750). Pada gambar di bawah ini saya merencanakan residual dari regresi linier berikut: lm(prices[,1] ~ prices[,2]) Melihat gambar, tampaknya merupakan autokorelasi yang sangat kuat dari residu. Namun bagaimana saya bisa menguji apakah autokorelasi residu itu kuat? Metode apa yang harus …

23 r  regression  correlation  autocorrelation 

Karena sains harus dapat direproduksi, menurut definisi, ada peningkatan pengakuan bahwa data dan kode merupakan komponen penting dari reproduktifitas, seperti yang dibahas oleh Yale Roundtable untuk data dan pembagian kode . Dalam meninjau naskah untuk jurnal yang tidak memerlukan berbagi data dan kode, dapatkah saya meminta agar data dan kode …

23 dataset  validation  reproducible-research  journals 

Saya melakukan beberapa analisis regresi dan saya tidak yakin apakah outlier dalam data saya harus dihapus. Data yang saya khawatirkan muncul sebagai "lingkaran" pada kotak-kotak SPSS, namun tidak ada tanda bintang (yang membuat saya berpikir mereka tidak 'seburuk itu'). Kasus-kasus yang saya khawatirkan akan muncul di bawah tabel "diagnosa santai" …

23 regression  outliers 

Ketika melakukan penelitian deret waktu dalam R, saya menemukan bahwa arima hanya menyediakan nilai-nilai koefisien dan kesalahan standar model pas. Namun, saya juga ingin mendapatkan nilai p dari koefisien. Saya tidak menemukan fungsi yang memberikan signifikansi koefisien. Jadi saya ingin menghitungnya sendiri, tetapi saya tidak tahu tingkat kebebasan dalam distribusi …

23 r  time-series  chi-squared  arima  parametric 

Saya ingin menghasilkan dua variabel. Salah satunya adalah variabel hasil biner (katakanlah keberhasilan / kegagalan) dan yang lainnya adalah usia dalam tahun. Saya ingin usia berkorelasi positif dengan kesuksesan. Misalnya harus ada lebih banyak keberhasilan di segmen usia yang lebih tinggi daripada di bawah. Idealnya saya harus dalam posisi untuk …

23 correlation  random-variable  random-generation  binary-data 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Saya mencari input tentang bagaimana orang lain mengatur kode R dan output mereka. Praktik saya saat ini adalah menulis kode dalam blok …

23 r  project-management