Statistik dan Big Data

Saya mencoba membangun model prediksi dengan SVM pada data yang cukup tidak seimbang. Label / output saya memiliki tiga kelas, positif, netral dan negatif. Saya akan mengatakan contoh positif membuat sekitar 10 - 20% dari data saya, netral sekitar 50 - 60%, dan negatif sekitar 30 - 40%. Saya mencoba …

9 machine-learning  predictive-models  svm  unbalanced-classes 

Saya telah memulai PhD dalam statistik tahun ini, dan saya mencari praktik terbaik, saran, dan (saran meta) mengenai cara tumbuh dan menjadi peneliti akademis yang baik di bidang statistik / ML. Pikiran dan tautan umum disambut baik, tetapi untuk memulai penggulingan bola, berikut adalah banyak pertanyaan yang dikumpulkan dari artikel …

9 careers  phd  academia 

Saya punya beberapa data deret waktu di mana variabel yang diukur adalah bilangan bulat positif (jumlah). Saya ingin menguji apakah ada tren naik dari waktu ke waktu (atau tidak). Variabel independen (x) berada dalam kisaran 0-500 dan variabel dependen (y) berada dalam kisaran 0-8. Saya pikir saya menjawab ini dengan …

9 r  regression  python 

Saya punya beberapa data tentang waktu antara detak jantung manusia. Salah satu indikasi denyut ektopik (ekstra) adalah bahwa interval ini dikelompokkan sekitar tiga nilai, bukan satu. Bagaimana saya bisa mendapatkan ukuran kuantitatif ini? Saya ingin membandingkan beberapa set data, dan dua histogram 100-bin ini mewakili semuanya. Saya dapat membandingkan varians, …

9 clustering 

Jika saya memiliki variabel dengan 4 level, secara teori saya perlu menggunakan 3 variabel dummy. Dalam praktiknya, bagaimana ini sebenarnya dilakukan? Apakah saya menggunakan 0-3, apakah saya menggunakan 1-3 dan membiarkan 4 kosong? Ada saran? CATATAN: Saya akan bekerja di R. UPDATE: Apa yang akan terjadi jika saya hanya menggunakan …

9 r  regression  categorical-data  categorical-encoding 

pengantar Dalam peramalan kombinasi, salah satu solusi populer didasarkan pada penerapan beberapa kriteria informasi. Mengambil contoh kriteria Akaike diperkirakan untuk model , orang dapat menghitung perbedaan dari dan kemudian RP_j = e ^ {(AIC ^ * - AIC_j) / 2} dapat ditafsirkan sebagai probabilitas relatif model j menjadi yang benar. …

9 time-series  forecasting  data-transformation  econometrics 

Misalkan kita memiliki model linier yang memenuhi semua asumsi regresi standar (Gauss-Markov). Kami tertarik pada θ = 1 / β 1 .yi=β0+β1xi+ϵiyi=β0+β1xi+ϵiy_i = \beta_0 + \beta_1 x_i + \epsilon_iθ=1/β1θ=1/β1\theta = 1/\beta_1 Pertanyaan 1: Apa asumsi yang diperlukan untuk distribusi θ didefinisikan dengan baik? β 1 ≠ 0 akan menjadi penting …

9 regression  distributions  maximum-likelihood  bootstrap 

Saya tidak mengerti mengapa pengurangan dimensi itu penting. Apa manfaat mengambil beberapa data dan mengurangi dimensi mereka?

9 dimensionality-reduction  svd 

Ketika mencoba untuk mengevaluasi apa yang merupakan keluarga hipotesis dalam percobaan / proyek / analisis, saya telah menemukan "tujuan yang serupa" dan "konten yang serupa" yang diberikan sebagai pedoman untuk membatasi keluarga, tetapi ini meninggalkan cukup banyak terbuka untuk interpretasi ( untuk sedikitnya). Tampak jelas bahwa jika dalam analisis, saya …

9 hypothesis-testing  multiple-comparisons 

Kedua variabel (dependen dan independen) menunjukkan efek autokorelasi. Data bersifat time-series dan stasioner Ketika saya menjalankan residu regresi tampaknya tidak berkorelasi. Statistik Durbin-Watson saya lebih besar dari nilai kritis atas, jadi ada bukti bahwa istilah kesalahan tidak berkorelasi positif. Juga ketika saya merencanakan ACF untuk kesalahan sepertinya tidak ada korelasi …

9 regression  time-series  autocorrelation 

Adakah metode alternatif yang lebih baik untuk memilih C dan Gamma yang menghasilkan kinerja pelatihan yang lebih baik?

9 machine-learning 

Saya mencoba memvisualisasikan beberapa data konsumen, yang memiliki 4 kategori. Pengguna bebas untuk beralih di antara berbagai kategori. Saya ingin memvisualisasikan tiga atau empat sakelar terakhir untuk setiap individu. Jadi kita akan mulai dengan plot dengan kolom dengan 4 proporsi ditumpuk. Setelah itu kita akan memiliki 16 karena setiap kategori …

9 r  data-visualization  sankey-diagram 

Melihat dataset berikut: Date Visits Carts carts Orders Created converted Created 2011-11-11 12277 161 9 36 2011-11-12 11871 93 5 19 2011-11-13 13072 107 8 8 2011-11-14 13594 112 4 34 2011-11-15 12741 129 8 43 2011-11-16 15491 261 16 57 2011-11-17 13418 186 17 42 Saya telah diminta untuk …

9 data-visualization 

Saya awalnya bertanya ini pada stack overflow dan dirujuk ke situs ini, jadi begini: Saya menerapkan beberapa metode yang tidak terawasi dari peringkasan dokumen berbasis pemilihan / ekstraksi konten dan saya bingung tentang apa yang disebut buku teks saya sebagai "rasio kemungkinan log". Buku Speech and Language Processing oleh Jurafsky …

9 natural-language  text-summarization 

Saya melihat apakah kelimpahan berhubungan dengan ukuran. Ukuran (tentu saja) kontinu, namun, kelimpahan dicatat pada skala sedemikian rupa A = 0-10 B = 11-25 C = 26-50 D = 51-100 E = 101-250 F = 251-500 G = 501-1000 H = 1001-2500 I = 2501-5000 J = 5001-10,000 etc... A …

9 categorical-data  variance  model  continuous-data