Pertanyaan yang diberi tag «outliers»

Saya mengalami kalimat ini ketika membaca artikel di sciencemag.org . Pada akhirnya, tanggapan dari hanya 7600 peneliti di 12 negara dimasukkan karena data yang tersisa tidak dianggap signifikan secara statistik. Apakah ini cara yang tepat untuk melakukan penelitian? Untuk meninggalkan hasil karena mereka tidak dianggap signifikan secara statistik?

9 statistical-significance  sampling  outliers  theory 

Saya sedang menyelidiki interaksi antara dua variabel ( dan ). Ada banyak korelasi linier antara variabel-variabel ini denganx1x1x_1x2x2x_2r>0.9r>0.9r>0.9 . Dari sifat masalah saya tidak bisa mengatakan apa-apa tentang penyebabnya (apakah menyebabkan x 2 atau sebaliknya). Saya ingin mempelajari penyimpangan dari garis regresi, untuk mendeteksi outlier. Untuk melakukan ini, saya dapat …

9 regression  outliers  linear-model 

Saya bekerja dengan serangkaian waktu skor anomali (latar belakang adalah deteksi anomali di jaringan komputer). Setiap menit, saya mendapatkan sebuah anomali mencetak yang memberitahu saya bagaimana "tak terduga" atau abnormal keadaan saat ini jaringan. Semakin tinggi skor, semakin abnormal kondisi saat ini. Skor mendekati 5 secara teori dimungkinkan tetapi terjadi …

9 time-series  outliers  threshold 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saya memiliki satu set titik data yang seharusnya duduk di lokus dan mengikuti pola, tetapi ada beberapa titik hamburan dari lokus utama yang menyebabkan ketidakpastian dalam analisis akhir saya. Saya ingin mendapatkan lokus yang rapi untuk menerapkannya nanti untuk analisis saya. Poin biru kurang lebih adalah poin sebaran yang ingin …

9 outliers  scatterplot 

Baru-baru ini saya menerima komentar pengulas dari pengiriman jurnal yang meminta saya untuk melakukannya laporkan bagaimana saya menangani outlier dan fringeliers . Saya belum pernah mendengar istilah "fringeliers" dan ketika saya mencari di Google, ada beberapa artikel, tetapi tidak ada definisi yang ringkas. Jadi saya pikir akan lebih baik untuk …

8 terminology  outliers 

Dalam sebuah posting blog Andrew Gelman menulis : Regresi bertahap adalah salah satu dari hal-hal ini, seperti deteksi outlier dan diagram lingkaran, yang tampaknya menjadi populer di kalangan non-ahli statistik tetapi dianggap oleh para ahli statistik sebagai sedikit lelucon. Saya mengerti referensi untuk diagram lingkaran, tetapi mengapa deteksi outlier dipandang …

8 dataset  outliers  quality-control 

Katakanlah saya memiliki sampel nilai yang besar di [0,1][0,1][0,1]. Saya ingin memperkirakan yang mendasarinyaBeta(α,β)Beta(α,β)\text{Beta}(\alpha, \beta)distribusi. Mayoritas sampel berasal dari asumsi iniBeta(α,β)Beta(α,β)\text{Beta}(\alpha, \beta) distribusi, sedangkan sisanya adalah outlier yang ingin saya abaikan dalam estimasi αα\alpha dan ββ\beta. Apa cara yang baik untuk melanjutkan ini? Apakah standar: Inliers={x∈[Q1−1.5IQR,Q3+1.5IQR]}Inliers={x∈[Q1−1.5IQR,Q3+1.5IQR]}\text{Inliers} = \left\{x \in [Q1 …

8 outliers  pymc  beta-distribution 

Proyek saya saat ini mungkin mengharuskan saya untuk membuat model untuk memprediksi perilaku sekelompok orang tertentu. set data pelatihan hanya berisi 6 variabel (id hanya untuk tujuan identifikasi): id, age, income, gender, job category, monthly spend di mana monthly spendadalah variabel respon. Tetapi dataset pelatihan berisi sekitar 3 juta baris, …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

Mohon maaf jika ini adalah pertanyaan yang sangat mendasar. Jika kita memiliki data yang tidak terdistribusi secara normal (misalnya miring, uji Shapiro-Wilk signifikan) dan kita menggunakan metode berbasis peringkat (misalnya uji Peringkat Bertanda Wilcoxon), maka apakah kita perlu khawatir dengan pencilan? Bayangkan, misalnya, kami memplot data menggunakan boxplot dan sebagian …

8 outliers  ranks 

Saya memiliki dua kelompok yang terdiri dari 10 peserta yang dinilai tiga kali selama percobaan. Untuk menguji perbedaan antara kelompok dan di tiga penilaian, saya menjalankan ANOVA desain campuran 2x3 dengan group(kontrol, eksperimental), time(pertama, kedua, tiga), dan group x time. Keduanya timedan grouphasilnya signifikan, selain itu ada interaksi yang signifikan …

8 anova  mixed-model  spss  post-hoc  bonferroni  time-series  unevenly-spaced-time-series  classification  normal-distribution  discriminant-analysis  probability  normal-distribution  estimation  sampling  classification  svm  terminology  pivot-table  random-generation  self-study  estimation  sampling  estimation  categorical-data  maximum-likelihood  excel  least-squares  instrumental-variables  2sls  total-least-squares  correlation  self-study  variance  unbiased-estimator  bayesian  mixed-model  ancova  statistical-significance  references  p-value  fishers-exact  probability  monte-carlo  particle-filter  logistic  predictive-models  modeling  interaction  survey  hypothesis-testing  multiple-regression  regression  variance  data-transformation  residuals  minitab  r  time-series  forecasting  arima  garch  correlation  estimation  least-squares  bias  pca  predictive-models  genetics  sem  partial-least-squares  nonparametric  ordinal-data  wilcoxon-mann-whitney  bonferroni  wilcoxon-signed-rank  traminer  regression  econometrics  standard-error  robust  misspecification  r  probability  logistic  generalized-linear-model  r-squared  effect-size  gee  ordered-logit  bayesian  classification  svm  kernel-trick  nonlinear  bayesian  pca  dimensionality-reduction  eigenvalues  probability  distributions  mathematical-statistics  estimation  nonparametric  kernel-smoothing  expected-value  filter  mse  time-series  correlation  data-visualization  clustering  estimation  predictive-models  recommender-system  sparse  hypothesis-testing  data-transformation  parametric  probability  summations  correlation  pearson-r  spearman-rho  bayesian  replicability  dimensionality-reduction  discriminant-analysis  outliers  weka 

Saya menghitung beberapa probabilitas bersyarat, dan interval kepercayaan 95% yang terkait. Untuk banyak kasus saya, saya memiliki jumlah xkeberhasilan langsung dari npercobaan (dari tabel kontingensi), sehingga saya dapat menggunakan interval kepercayaan Binomial, seperti yang disediakan oleh binom.confint(x, n, method='exact')in R. Namun dalam kasus lain, saya tidak memiliki data seperti itu, …

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

Saya memiliki kumpulan data berukuran 40-50 poin. Tanpa berasumsi bahwa data terdistribusi normal, saya ingin mencari tahu outlier dengan kepercayaan setidaknya 90%. Saya pikir boxplot bisa menjadi cara yang baik untuk melakukan itu tetapi saya tidak yakin. Setiap bantuan dihargai. Juga dengan implementasi boxplot saya tidak dapat menemukan implementasi yang …

8 nonparametric  python  outliers  matplotlib 

Saya menggunakan dukungan vektor regresi untuk memodelkan beberapa data yang cukup miring (dengan kurtosis tinggi). Saya sudah mencoba memodelkan data secara langsung tetapi saya mendapatkan prediksi yang salah, saya pikir terutama karena distribusi data, yang condong ke kanan dengan ekor yang sangat gemuk. Saya cukup yakin beberapa outlier (yang merupakan …

8 machine-learning  svm  cross-validation  predictive-models  outliers 

Saya memiliki skrip python yang membuat daftar daftar server uptime dan data kinerja, di mana setiap sub-daftar (atau 'baris') berisi statistik cluster tertentu. Misalnya, diformat dengan baik itu terlihat seperti ini: ------- ------------- ------------ ---------- ------------------- Cluster %Availability Requests/Sec Errors/Sec %Memory_Utilization ------- ------------- ------------ ---------- ------------------- ams-a 98.099 1012 678 …

8 outliers  quantiles