Statistik dan Big Data

Saya ingin melakukan regresi linier berganda dan kemudian memprediksi nilai-nilai baru dengan sedikit ekstrapolasi. Saya memiliki variabel respons di kisaran -2 hingga +7, dan tiga prediktor (kisaran sekitar +10 - +200). Distribusi hampir normal. Tetapi hubungan antara respons dan prediktornya tidak linier, saya melihat kurva pada plot. Misalnya seperti ini: …

10 regression  data-transformation 

Jika saya memilih 232 orang dari kumpulan 363 orang tanpa penggantian, berapakah probabilitas 2 dari daftar 12 orang tertentu berada dalam seleksi itu? Ini adalah undian acak untuk balapan ultra di mana ada 363 peserta untuk 232 tempat. Ada argumen tentang apakah seleksi itu bias terhadap kelompok tertentu yang terdiri …

10 combinatorics  randomness  hypergeometric 

Saya memodelkan beberapa data di mana saya pikir saya memiliki dua efek acak silang. Tetapi kumpulan data tidak seimbang, dan saya tidak yakin apa yang perlu dilakukan untuk menjelaskannya. Data saya adalah serangkaian acara. Suatu peristiwa terjadi ketika klien bertemu dengan penyedia untuk melakukan tugas, yang berhasil atau tidak. Ada …

10 r  mixed-model  random-effects-model  logistic 

Saya memiliki model linier berikut: Untuk mengatasi heteroscedasticity residual, saya telah mencoba menerapkan transformasi log pada variabel dependen sebagai tetapi saya masih melihat efek fan out yang sama pada residual. Nilai-nilai DV relatif kecil sehingga penambahan konstan +1 sebelum mengambil log mungkin tidak sesuai dalam kasus ini.log(Y+1)log⁡(Y+1)\log(Y + 1) > …

10 regression  data-transformation  linear-model  heteroscedasticity 

Sulit bagi saya untuk menerima bahwa Donald Rubin akan pernah menghasilkan lemon teknik yang sebenarnya. Namun, itulah persepsi saya tentang BESD [ 1 , 2 , 3 ]. Makalah asli oleh Rosenthal dan Rubin (1982) mengklaim bahwa ada nilai dalam menunjukkan "bagaimana menyusun kembali korelasi momen-produk ke dalam tampilan [2x2] …

10 interpretation  effect-size 

Apa strategi yang baik untuk melakukan regresi proses Gaussian ketika fungsi saya mencoba memperkirakan perubahan dari waktu ke waktu? Pendekatan naif yang muncul di benak saya adalah dengan hanya menggunakan titik data N terbaru untuk melakukan regresi. Apa strategi yang lebih baik?

10 regression  online  gaussian-process 

Untuk sementara, sepertinya Fisher Kernels mungkin menjadi populer, karena mereka tampaknya menjadi cara untuk membangun kernel dari model probabilistik. Namun, saya jarang melihat mereka digunakan dalam praktik, dan saya memiliki otoritas yang baik sehingga mereka cenderung tidak bekerja dengan baik. Mereka mengandalkan perhitungan Informasi Fisher - mengutip Wikipedia: informasi Fisher …

10 machine-learning  probability  kernel-trick  generative-models 

Saya mencoba meramalkan penjualan produk di vending machine. Masalahnya adalah bahwa mesin diisi pada interval yang tidak teratur dan pada setiap pengisian kita hanya dapat mencatat penjualan agregat sejak pengisian terakhir mesin (yaitu kita tidak memiliki data penjualan harian). Jadi pada dasarnya kami memiliki data untuk penjualan agregat pada interval …

10 time-series  forecasting 

Saya memiliki akses ke dataset yang sangat besar. Data tersebut dari rekaman MEG dari orang yang mendengarkan kutipan musik, dari satu dari empat genre. Data adalah sebagai berikut: 6 mata pelajaran 3 pengulangan Eksperimental (zaman) 120 Percobaan per zaman 8 detik data per percobaan pada 500Hz (= 4000 sampel) dari …

10 machine-learning  feature-selection  large-data  feature-construction 

Saya punya banyak masalah dengan satu set data yang saya coba terapkan SEM. Kami menduga keberadaan 5 faktor laten A, B, C, D, E, dengan indikator resp. A1 to A5 (faktor yang dipesan), B1 ke B3 (kuantitatif), C1, D1, E1 (semua tiga faktor terakhir, dengan hanya 2 level untuk E1. …

10 r  modeling  multiple-regression  sem 

Pada dasarnya, ada dua cara umum untuk belajar melawan kumpulan data besar (ketika Anda dihadapkan pada batasan waktu / ruang): Kecurangan :) - gunakan hanya subset "dikelola" untuk pelatihan. Hilangnya keakuratan dapat diabaikan karena hukum pengembalian yang semakin menurun - kinerja prediktif dari model tersebut seringkali mendatar jauh sebelum semua …

10 machine-learning  large-data  model-evaluation  train 

Masalah umum adalah ML adalah kualitas data yang buruk: kesalahan dalam nilai fitur, contoh kesalahan klasifikasi, dll. Salah satu cara untuk mengatasi masalah ini adalah secara manual memeriksa data dan memeriksa, tetapi adakah teknik lain? (Aku yakin ada!) Mana yang lebih baik dan mengapa?

10 data-cleaning 

Teknik pemrosesan sinyal, Mel frekuensi Cepstrum , sering digunakan untuk mengekstraksi informasi dari karya musik untuk digunakan dalam tugas pembelajaran mesin. Metode ini memberikan spektrum daya jangka pendek, dan koefisien digunakan sebagai input. Dalam mendesain sistem pengambilan musik, koefisien seperti itu dianggap sebagai karakteristik dari sebuah karya (jelas tidak harus …

10 machine-learning  classification  signal-processing  mfcc 

Pertimbangkan kode R berikut: example <- function(n) { X <- 1:n Y <- rep(1,n) return(lm(Y~X)) } #(2.13.0, i386-pc-mingw32) summary(example(7)) #R^2 = .1963 summary(example(62)) #R^2 = .4529 summary(example(4540)) #R^2 = .7832 summary(example(104))) #R^2 = 0 #I did a search for n 6:10000, the result for R^2 is NaN for #n = …

10 r  regression 

Interviewstreet memiliki CodeSprint kedua pada bulan Januari yang mencakup pertanyaan di bawah ini. Jawaban terprogram diposting tetapi tidak termasuk penjelasan statistik. (Anda dapat melihat masalah asli dan memposting solusi dengan masuk ke situs web Interviewstreet dengan kredibilitas Google dan kemudian membuka masalah Coin Tosses dari halaman ini .) Tosses Koin …

10 probability  stochastic-processes  markov-process