Statistik dan Big Data

Saya akan sangat menghargai saran Anda tentang masalah berikut: Saya punya set data kontinu besar dengan banyak nol (~ 95%) dan saya perlu menemukan cara terbaik untuk menguji apakah himpunan bagian tertentu dari itu "menarik", yaitu sepertinya tidak diambil dari distribusi yang sama dengan sisanya. Nol inflasi berasal dari fakta …

10 hypothesis-testing 

UPDATE: caret sekarang menggunakan foreachinternal, jadi pertanyaan ini tidak lagi benar-benar relevan. Jika Anda dapat mendaftarkan backend paralel yang berfungsi untuk foreach, caret akan menggunakannya. Saya memiliki paket caret untuk R, dan saya menarik menggunakan trainfungsi untuk memvalidasi silang model saya. Namun, saya ingin mempercepat, dan tampaknya caret memberikan dukungan …

10 r  parallel-computing 

Saya memiliki histogram data kecepatan angin yang sering direpresentasikan menggunakan distribusi weibull. Saya ingin menghitung bentuk weibull dan faktor skala yang paling cocok dengan histogram. Saya memerlukan solusi numerik (bukan solusi grafis ) karena tujuannya adalah untuk menentukan bentuk weibull secara terprogram. Sunting: Sampel dikumpulkan setiap 10 menit, kecepatan angin …

10 distributions  histogram  java 

Mari kita katakan saya mundur Y pada X1 dan X2, di mana X1 adalah variabel numerik dan X2 adalah faktor dengan empat level (A: D). Apakah ada cara untuk menulis fungsi regresi linier lm(Y ~ X1 + as.factor(X2))sehingga saya dapat memilih tingkat X2 tertentu - katakanlah, B - sebagai garis …

10 r 

Saya sedang menyelesaikan beberapa analisis pada sejumlah besar data. Saya ingin mengambil model linier yang digunakan di bagian pertama pekerjaan dan menyesuaikannya menggunakan model campuran linier (LME). LME akan sangat mirip dengan pengecualian bahwa salah satu variabel yang digunakan dalam model akan digunakan sebagai efek acak. Data ini berasal dari …

10 r  regression  hypothesis-testing  mixed-model  lme4-nlme 

Saya mencoba menerapkan algoritma EM untuk model analisis faktor berikut; Wj= μ + B aj+ ejuntukj = 1 , … , nWj=μ+Baj+ejforj=1,…,nW_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n di mana adalah vektor acak p-dimensional, adalah vektor q-dimensi dari variabel laten dan adalah matriks parameter pxq.a j BWjWjW_jSebuahjaja_jBBB Sebagai hasil dari asumsi …

10 factor-analysis  expectation-maximization 

Saya perlu membuat vektor acak bilangan real a_i memenuhi batasan berikut: abs(a_i) < c_i; sum(a_i)< A; # sum of elements smaller than A sum(b_i * a_i) < B; # weighted sum is smaller than B aT*A*a < D # quadratic multiplication with A smaller than D where c_i, b_i, A, …

10 random-generation 

Untuk beberapa algoritma rekonstruksi volume yang sedang saya kerjakan, saya perlu mendeteksi sejumlah pola melingkar dalam data titik 3d (yang berasal dari perangkat LIDAR). Pola-pola ini dapat diorientasikan secara sewenang-wenang di ruang angkasa, dan diasumsikan terletak (meskipun tidak sempurna) di bidang tipis 2d. Berikut ini adalah contoh dengan dua lingkaran …

10 clustering  image-processing 

Saya memecahkan kubus Rubik sebagai hobi. Saya mencatat waktu yang diperlukan untuk menyelesaikan kubus menggunakan beberapa perangkat lunak, dan sekarang saya memiliki data dari ribuan solusinya. Data pada dasarnya adalah daftar panjang angka yang mewakili waktu setiap pemecahan sekuensial mengambil (mis. 22.11, 20.66, 21.00, 18.74, ...) Waktu yang saya perlukan …

10 probability 

Saya sedang mengerjakan proyek penelitian yang terkait dengan optimasi dan baru-baru ini punya ide untuk menggunakan MCMC dalam pengaturan ini. Sayangnya, saya cukup baru untuk metode MCMC jadi saya punya beberapa pertanyaan. Saya akan mulai dengan menjelaskan masalahnya dan kemudian mengajukan pertanyaan saya. Masalah kita bermuara memperkirakan nilai yang diharapkan …

10 sampling  mcmc  matlab  expected-value 

Mengapa ingat tidak memperhitungkan negatif sebenarnya? Dalam eksperimen di mana negatif sejati sama pentingnya dengan positif sejati, apakah metrik mereka yang sebanding memperhitungkannya?

10 precision-recall 

Saya bertanya-tanya apakah ada yang bisa membantu saya dengan informasi tentang Kurtosis (yaitu apakah ada cara untuk mengubah data Anda untuk menguranginya?) Saya memiliki dataset kuesioner dengan sejumlah besar kasus dan variabel. Untuk beberapa variabel saya, data menunjukkan nilai-nilai kurtosis yang cukup tinggi (yaitu distribusi leptokurtik) yang berasal dari fakta …

10 distributions  assumptions  kurtosis  discriminant-analysis  parametric 

Peristiwa baru-baru ini di Jepang membuat saya berpikir tentang yang berikut ini. Pembangkit Nuklir biasanya dirancang untuk membatasi risiko kecelakaan serius menjadi 'probabilitas dasar desain' misalnya, misalnya, 10E-6 / tahun. Ini adalah kriteria untuk satu pabrik. Namun, ketika ada populasi ratusan reaktor, bagaimana kita menggabungkan probabilitas individu dari kecelakaan serius? …

10 probability 

Apakah ada cara mudah untuk menerapkan rumus garis tren dari bagan ke nilai X yang diberikan di Excel? Sebagai contoh, saya ingin mendapatkan nilai Y untuk X yang diberikan = $ 2,006.00. Saya sudah mengambil formula dan mengetik ulang menjadi: =-0.000000000008*X^3 - 0.00000001*X^2 + 0.0003*X - 0.0029 Saya terus melakukan …

10 regression  excel 

Pertanyaan pemula di sini. Saat ini saya sedang melakukan regresi nonparametrik menggunakan paket np di R. Saya memiliki 7 fitur dan menggunakan pendekatan brute force saya mengidentifikasi yang terbaik 3. Tapi, segera saya akan memiliki lebih dari 7 fitur! Pertanyaan saya adalah apa metode terbaik saat ini untuk pemilihan fitur …

10 r  machine-learning  nonparametric  feature-selection