Pertanyaan yang diberi tag «binning»

Misalkan saya ingin melihat apakah data saya eksponensial berdasarkan histogram (yaitu condong ke kanan). Bergantung pada bagaimana saya mengelompokkan atau menyimpan data, saya bisa mendapatkan histogram yang sangat berbeda. Satu set histogram akan dibuat tampak bahwa data itu eksponensial. Set lain akan membuatnya tampak bahwa data tidak eksponensial. Bagaimana cara …

111 distributions  data-visualization  histogram  binning 

Saya bertanya-tanya apa nilainya dalam mengambil variabel prediktor kontinu dan memecahnya (misalnya, menjadi kuintil), sebelum menggunakannya dalam model. Sepertinya saya bahwa dengan binning variabel kita kehilangan informasi. Apakah ini hanya agar kita dapat memodelkan efek non-linear? Jika kita menyimpan variabel kontinu dan itu bukan hubungan linear yang lurus, apakah kita …

78 regression  modeling  continuous-data  binning  regression-strategies 

Dalam komentar ini , Nick Cox menulis: Masuk ke kelas adalah metode kuno. Sementara histogram dapat berguna, perangkat lunak statistik modern membuatnya mudah dan disarankan untuk menyesuaikan distribusi dengan data mentah. Binning hanya membuang detail yang sangat penting dalam menentukan distribusi mana yang masuk akal. Konteks komentar ini menyarankan menggunakan …

22 references  histogram  binning  qq-plot 

Kapan kita harus discretize / bin variabel independen / fitur dan kapan tidak? Upaya saya untuk menjawab pertanyaan: Secara umum, kita tidak boleh bin, karena binning akan kehilangan informasi. Binning sebenarnya meningkatkan derajat kebebasan model, jadi, dimungkinkan untuk menyebabkan over-fitting setelah binning. Jika kita memiliki model "bias tinggi", binning mungkin …

21 machine-learning  continuous-data  feature-construction  binning 

Mengesampingkan masalah yang jelas dari rendahnya daya chi-square dalam keadaan seperti ini, bayangkan melakukan uji kebaikan chi-square untuk beberapa kepadatan dengan parameter yang tidak ditentukan, dengan mengelompokkan data. Untuk konkret, katakanlah distribusi eksponensial dengan rata-rata tidak diketahui dan ukuran sampel katakanlah 100. Untuk mendapatkan jumlah yang wajar dari pengamatan yang …

18 chi-squared  goodness-of-fit  binning 

Katakanlah saya memiliki dua distribusi yang ingin saya bandingkan secara terperinci, yaitu dengan cara yang membuat bentuk, skala, dan pergeseran mudah terlihat. Salah satu cara yang baik untuk melakukan ini adalah memplot histogram untuk setiap distribusi, menempatkan mereka pada skala X yang sama, dan menumpuk satu di bawah yang lain. …

14 data-visualization  histogram  pdf  binning 

Saya sedang mencari metode binning optimal (diskritisasi) dari variabel kontinu sehubungan dengan respon yang diberikan (target) variabel biner dan dengan jumlah interval maksimum sebagai parameter. contoh: Saya memiliki satu set pengamatan orang dengan variabel "tinggi" (angka kontinu) dan "has_back_pains" (biner). Saya ingin melakukan diskritisasi tinggi menjadi 3 interval (kelompok) paling …

11 r  dataset  optimization  discrete-data  binning 

Saya mencoba untuk membungkus kepala saya di sekitar hasil Bayes Theorem yang diterapkan pada contoh mammogram klasik, dengan twist mammogram menjadi sempurna. Itu adalah, Timbulnya kanker:.01.01.01 Kemungkinan mammogram positif, mengingat pasien menderita kanker:111 Probabilitas mammogram positif, mengingat pasien tidak memiliki kanker:.01.01.01 By Bayes: P (kanker | mammogram +) =1 ⋅ …

11 bayesian  bayes  binning  diagnosis 

Saya mencoba untuk secara cerdas membuang koleksi yang diurutkan. Saya punya koleksi data. Tapi aku tahu bahwa data ini cocok dalam m merata berukuran sampah. Saya tidak tahu bagaimana memilih titik akhir secara cerdas agar sesuai dengan data. sebagai contoh:nnnmmm Katakanlah saya memiliki 12 item dalam koleksi saya, dan saya …

11 clustering  histogram  binning 

Jadi saya sudah membaca beberapa posting tentang mengapa binning harus selalu dihindari. Referensi populer untuk klaim itu adalah tautan ini . Liburan utama adalah bahwa titik-titik binning (atau titik potong) agak sewenang-wenang serta hilangnya informasi yang dihasilkan, dan bahwa splines harus lebih disukai. Namun, saya saat ini bekerja dengan Spotify …

10 classification  categorical-data  continuous-data  splines  binning 

Saya ingin mengukur hubungan antara dua variabel, A dan B, menggunakan informasi timbal balik. Cara untuk menghitungnya adalah dengan membuang pengamatan (lihat contoh kode Python di bawah). Namun, faktor apa yang menentukan jumlah sampah yang masuk akal? Saya perlu perhitungan yang cepat jadi saya tidak bisa hanya menggunakan banyak sampah …

10 information-theory  mutual-information  binning 

Ini hanya contoh yang saya temui beberapa kali, jadi saya tidak punya data sampel. Menjalankan model regresi linier di R: a.lm = lm(Y ~ x1 + x2) x1adalah variabel kontinu. x2bersifat kategorikal dan memiliki tiga nilai, mis. "Rendah", "Sedang" dan "Tinggi". Namun output yang diberikan oleh R akan menjadi seperti: …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

Saya menerapkan berbagai algoritme untuk memperkirakan jumlah sampah terbaik yang digunakan untuk histogram. Sebagian besar yang saya laksanakan dijelaskan pada halaman "Histogram" Wikipedia di bagian " Jumlah sampah dan lebar " *. Saya terjebak pada masalah dengan rumus Doane: 1 + log(n) + log(1 + kurtosis(data) * sqrt(n / 6.)) …

9 histogram  binning 

Ketika memikirkan histogram sebagai perkiraan fungsi kerapatan, apakah masuk akal untuk menganggap ukuran nampan sebagai parameter yang membatasi struktur lokal fungsi tersebut? Juga, adakah cara yang lebih baik untuk mengartikulasikan alasan ini?

8 machine-learning  distributions  regularization  histogram  binning 

Sejumlah sumber menunjukkan bahwa ada banyak konsekuensi negatif dari diskritisasi (kategorisasi) variabel kontinu sebelum analisis statistik (sampel referensi [1] - [4] di bawah). Sebaliknya [5] menunjukkan bahwa beberapa teknik pembelajaran mesin diketahui menghasilkan hasil yang lebih baik ketika variabel kontinyu didiskritisasi (juga mencatat bahwa metode diskritisasi yang diawasi berperforma lebih …

8 machine-learning  generalized-linear-model  categorical-data  binning