Statistik dan Big Data

Saya baru saja menerima pertanyaan berikut melalui email. Saya akan mengirim jawaban di bawah, tetapi saya tertarik untuk mendengar apa yang dipikirkan orang lain. Apakah Anda menyebut regresi logistik sebagai tes non-parametrik? Pemahaman saya adalah bahwa hanya memberi label tes non-parametrik karena datanya tidak terdistribusi normal, tidak cukup. Ini lebih …

15 hypothesis-testing  logistic  nonparametric 

Saya tidak terlalu hebat dalam statistik, jadi minta maaf jika ini adalah pertanyaan sederhana. Saya menyesuaikan kurva dengan beberapa data, dan kadang-kadang data saya paling cocok dengan eksponensial negatif dalam bentuk , dan kadang-kadang cocok lebih dekat dengan . Namun, kadang-kadang keduanya gagal, dan saya ingin kembali ke linier. Pertanyaan …

15 variance  model-selection  python  curve-fitting  covariance-matrix 

Saya telah melihat berbagai metrik kesalahan yang digunakan dalam kompetisi Kaggle: RMS, mean-square, AUC, dan lainnya. Apa aturan umum praktis dalam memilih metrik kesalahan, yaitu bagaimana Anda tahu metrik kesalahan mana yang digunakan untuk masalah yang diberikan? Apakah ada pedoman?

15 machine-learning  classification  error 

Saya mencoba mencari maxima lokal untuk fungsi kepadatan probabilitas (ditemukan menggunakan densitymetode R ). Saya tidak bisa melakukan metode "lihat sekeliling tetangga" yang sederhana (di mana orang melihat-lihat titik untuk melihat apakah itu maksimum lokal sehubungan dengan tetangganya) karena ada volume data yang besar. Selain itu, tampaknya lebih efisien dan …

15 r  pdf  splines  maximum 

Saat membaca catatan Blake Master tentang ceramah Peter Thiel tentang start up, saya menemukan metafora tentang perbatasan teknologi: Bayangkan dunia ditutupi oleh kolam, danau, dan lautan. Anda berada di perahu, di badan air. Tapi ini sangat berkabut, jadi Anda tidak tahu seberapa jauh ke sisi lain. Anda tidak tahu apakah …

15 distributions  queueing  interarrival-time 

Dalam buku Steven Pinker, Better Angels of Our Nature , ia mencatat itu Probabilitas adalah masalah perspektif. Dilihat dari jarak yang cukup dekat, peristiwa individu memiliki penyebab yang menentukan. Bahkan flip koin dapat diprediksi dari kondisi awal dan hukum fisika, dan pesulap yang ahli dapat mengeksploitasi hukum tersebut untuk melempar …

15 probability  central-limit-theorem  intuition 

Apa keuntungan dari kurva ROC? Sebagai contoh, saya mengklasifikasikan beberapa gambar yang merupakan masalah klasifikasi biner. Saya mengekstraksi sekitar 500 fitur dan menerapkan algoritma pemilihan fitur untuk memilih satu set fitur kemudian saya menerapkan SVM untuk klasifikasi. Dalam hal ini, bagaimana saya bisa mendapatkan kurva ROC? Haruskah saya mengubah nilai …

15 machine-learning  roc 

Saya akrab dengan menggunakan regresi linier berganda untuk membuat model berbagai variabel. Namun, saya ingin tahu apakah tes regresi pernah digunakan untuk melakukan semacam pengujian hipotesis dasar. Jika demikian, seperti apa skenario / hipotesis itu?

15 regression  hypothesis-testing  multiple-regression 

Saya tahu bahwa untuk setiap pasangan fitur-kelas, nilai statistik chi-square dihitung dan dibandingkan dengan ambang batas. Tapi saya agak bingung. Jika ada fitur dan kelas , bagaimana cara membuat tabel kontingensi? Bagaimana cara memutuskan fitur mana yang akan disimpan dan mana yang akan dihapus?mmmkkk Klarifikasi apa pun akan sangat dihargai. …

15 chi-squared  feature-selection 

Saya memiliki banyak perkiraan (sekitar 1000) dan semuanya seharusnya merupakan perkiraan elastisitas jangka panjang. Sedikit lebih dari setengahnya diperkirakan menggunakan metode A dan sisanya menggunakan metode B. Di suatu tempat saya membaca sesuatu seperti "Saya pikir metode B memperkirakan sesuatu yang sangat berbeda dari metode A, karena perkiraannya jauh (50-60%) …

15 mean  outliers  robust  references 

Atau, untuk memprediksi pasar valuta asing. Saya tahu ini bisa sangat rumit, jadi sebagai pengantar, saya mencari algoritma prediksi sederhana yang memiliki akurasi. (Ini untuk proyek universitas M.Sc. yang berlangsung empat bulan) Saya pernah membaca bahwa jaringan saraf multi-layer mungkin berguna. Adakah pemikiran tentang itu? Selain itu, analisis semantik media …

15 machine-learning  finance 

Dalam praktiknya, bagaimana cara mengevaluasi apakah proses AR (P) stasioner atau tidak? Bagaimana menentukan pesanan untuk model AR dan MA?

15 time-series  stochastic-processes  arma  stationarity 

Katakanlah saya memiliki pengamatan N, mungkin beberapa faktor dan saya mengulangi setiap pengamatan dua kali (atau M kali) bagaimana sebuah regresi pada set ukuran baru NM dibandingkan dengan regresi hanya pada pengamatan asli?

15 regression  linear-model  multiple-regression 

Ketika kita mempertimbangkan skenario teori Antrian di mana individu tiba ke node penayangan dan mengantri, biasanya proses Poisson digunakan untuk memodelkan waktu kedatangan. Skenario ini muncul dalam masalah perutean jaringan. Saya menghargai penjelasan intuitif mengapa proses Poisson paling cocok untuk memodelkan kedatangan.

15 poisson-distribution  intuition  queueing 

Bisakah kita mengatakan sesuatu tentang ketergantungan variabel acak dan fungsi variabel acak? Misalnya apakah bergantung pada ?X 2 XX2X^2XX

15 probability  random-variable