Statistik dan Big Data

Saya memiliki masalah regresi di mana hasilnya tidak sepenuhnya 0, 1 melainkan dalam kisaran semua bilangan real dari 0 hingga 1 termasuk .Y= [ 0 , 0,12 , 0,31 , . . . , 1 ]Y=[0,0.12,0.31,...,1]Y = [ 0, 0.12, 0.31, ..., 1 ] Masalah ini sudah dibahas di utas …

9 regression  logistic 

Pertimbangkan masalah pemfilteran kolaboratif. Kami memiliki matriks ukuran #user * # item. jika pengguna saya suka barang j, jika pengguna saya tidak suka barang j danjika tidak ada data tentang pasangan (i, j). Kami ingin memprediksi untuk pengguna mendatang, pasangan barang.M.M.MM.saya , j= 1M.saya,j=1M_{i,j} = 1M.saya , j= 0M.saya,j=0M_{i,j} = …

9 machine-learning  recommender-system  matrix-decomposition 

Pengaturan Banyak algoritma beroperasi pada satu relasi atau tabel, sementara banyak database dunia nyata menyimpan informasi dalam beberapa tabel (Domingos, 2003). Pertanyaan Jenis algoritma apa yang dipelajari dengan baik dari beberapa tabel (relasional). Secara khusus, saya tertarik pada algoritma yang berlaku untuk tugas-tugas regresi dan klasifikasi (bukan yang berorientasi analisis …

9 regression  machine-learning  classification  dataset 

Pengaturan dasar: model regresi: mana C adalah vektor variabel kontrol.y=constant+β1x1+β2x2+β3x3+β4x4+αC+ϵy=constant+β1x1+β2x2+β3x3+β4x4+αC+ϵy = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon Saya tertarik pada dan berharap β 1 dan β 2 menjadi negatif. Namun, ada masalah multikolinieritas dalam model, koefisien korelasi diberikan oleh, corr ( x 1 , x 2 ) = 0,9345, corr ( x 1 …

9 regression  multicollinearity 

Saya mencoba menyesuaikan model linier pada beberapa data hanya dengan satu prediktor (katakanlah (x, y)). Data sedemikian rupa sehingga untuk nilai x yang kecil, nilai y memberikan kesesuaian yang ketat dengan garis lurus, namun begitu nilai x meningkat, nilai y menjadi lebih tidak stabil. Berikut adalah contoh dari data tersebut …

9 r  regression  variance  data-transformation 

Saya bekerja dengan satu set besar data accelerometer yang dikumpulkan dengan beberapa sensor yang dikenakan oleh banyak subjek. Sayangnya, tidak ada orang di sini yang tahu spesifikasi teknis perangkat dan saya pikir mereka tidak pernah dikalibrasi ulang. Saya tidak punya banyak info tentang perangkat. Saya sedang mengerjakan tesis master saya, …

9 normalization  signal-processing 

Untuk tugas pemodelan churn saya sedang mempertimbangkan: Hitung k cluster untuk data Buat model k untuk masing-masing cluster secara terpisah. Alasan untuk itu adalah, bahwa tidak ada yang dapat dibuktikan, bahwa populasi pelanggan adalah homogen, sehingga masuk akal untuk menganggap bahwa proses menghasilkan data mungkin berbeda untuk "kelompok" yang berbeda. …

9 machine-learning  clustering  data-mining  predictive-models 

Dalam makalah asli pLSA penulis, Thomas Hoffman, menggambar paralel antara struktur data pLSA dan LSA yang ingin saya diskusikan dengan Anda. Latar Belakang: Mengambil inspirasi Pengambilan Informasi misalkan kita memiliki koleksi dokumen dan kosakata istilahNNND={d1,d2,....,dN}D={d1,d2,....,dN}D = \lbrace d_1, d_2, ...., d_N \rbraceMMMΩ={ω1,ω2,...,ωM}Ω={ω1,ω2,...,ωM}\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace Sebuah …

9 machine-learning  conditional-probability  svd  information-retrieval  lsa 

Saya memiliki kumpulan data di mana saya menguji perbedaan yang signifikan antara tiga populasi sehubungan dengan sekitar 50 variabel yang berbeda. Saya melakukan ini menggunakan tes Kruskal-Wallis, di satu sisi, dan dengan uji rasio kemungkinan cocok model GLM bersarang (dengan dan tanpa populasi sebagai variabel independen), di sisi lain. Sebagai …

9 chi-squared  multiple-comparisons  likelihood-ratio  kruskal-wallis  false-discovery-rate 

Saya ingin melakukan analisis komponen utama (analisis faktor) pada SPSS berdasarkan 22 variabel. Namun, beberapa variabel saya sangat miring (skewness dihitung dari SPSS berkisar 2-80!). Jadi inilah pertanyaanku: Haruskah saya menjaga variabel miring seperti itu atau saya bisa mengubah variabel pada analisis komponen utama? Jika ya, bagaimana saya menafsirkan skor …

9 pca  factor-analysis  dimensionality-reduction  skewness 

Saya memiliki dataset berikut: https://dl.dropbox.com/u/22681355/ORACLE.csv dan ingin merencanakan perubahan harian di 'Buka' dengan 'Tanggal', jadi saya melakukan hal berikut: oracle <- read.csv(file="http://dl.dropbox.com/u/22681355/ORACLE.csv", header=TRUE) plot(oracle$Date, oracle$Open, type="l") dan saya mendapatkan yang berikut ini: Sekarang ini jelas bukan plot terbaik yang pernah ada, jadi saya bertanya-tanya apa metode yang tepat untuk digunakan …

9 r  data-visualization 

Saya ingin tahu apakah ada jenis distribusi standar pada himpunan bilangan bulat . Secara ekuivalen, kita dapat menyatakan ini sebagai distribusi pada vektor panjang dari hasil biner, misalnya jika maka sesuai dengan vektor .{1,2,...,J}{1,2,...,J}\{1, 2, ..., J\}JJJJ=5J=5J = 5{1,3,5}{1,3,5}\{1, 3, 5\}(1,0,1,0,1)(1,0,1,0,1)(1, 0, 1, 0, 1) Idealnya yang saya cari adalah …

9 bayesian  discrete-data 

Berasal dari latar belakang yang keras dalam analisis dan teori probabilitas modern, saya menemukan statistik Bayesian langsung dan mudah dipahami, dan statistik kerap kali sangat membingungkan dan tidak intuitif. Tampaknya kerap kali benar-benar melakukan statistik bayesian, kecuali dengan "prior rahasia" yang tidak termotivasi dengan baik atau didefinisikan dengan cermat. Di …

9 references  frequentist  intuition 

Saya benar-benar baru dalam statistik dan bidang interval kepercayaan. Jadi ini mungkin sangat sepele atau bahkan terdengar bodoh. Saya akan sangat menghargai jika Anda dapat membantu saya memahami atau mengarahkan saya ke beberapa literatur / teks / blog yang menjelaskan hal ini dengan lebih baik. Saya melihat di berbagai situs …

9 confidence-interval  sample-size 

Saya ingin membandingkan dengan tingkat kejadian antara dua kelompok (satu tanpa penyakit dan satu dengan). Saya berencana untuk menghitung rasio tingkat kejadian (IRR), yaitu tingkat kejadian kelompok B / tingkat kejadian kelompok A, dan kemudian menguji apakah tingkat ini sama dengan 1, dan akhirnya menghitung interval CI 95% untuk IRR. …

9 r  poisson-distribution  epidemiology  incidence-rate-ratio