Statistik dan Big Data

Pertimbangkan solusi Jaynes untuk paradoks Bertrand menggunakan prinsip ketidakpedulian . Mengapa argumen serupa tidak berlaku untuk paradoks Borel-Kolmogorov ? Apakah ada yang salah dengan berargumen bahwa karena masalahnya tidak menentukan orientasi untuk bola, memutar bola seharusnya tidak memengaruhi distribusi hasil yang dihasilkan oleh proses pembatasan yang dipilih?

15 theory  paradox 

Saya melakukan regresi bahaya proporsional Cox dalam menggunakan R coxph, yang mencakup banyak variabel. Residu Martingale tampak hebat, dan residu Schoenfeld bagus untuk hampir semua variabel. Ada tiga variabel yang residunya Schoenfeld tidak rata, dan sifat dari variabel tersebut sedemikian rupa sehingga masuk akal bahwa mereka dapat bervariasi dengan waktu. …

15 r  model  cox-model  hazard  schoenfeld-residuals 

Istilah ini sering muncul di utas terkait metode . Apakah memadukan metode khusus dalam penambangan data dan pembelajaran statistik? Saya tidak bisa mendapatkan hasil yang relevan dari google. Tampaknya pencampuran adalah mencampur hasil dari banyak model dan menghasilkan hasil yang lebih baik. Apakah ada sumber daya yang membantu saya mengetahui …

15 machine-learning  data-mining  unsupervised-learning  statistical-learning 

Sebagai bagian dari tugas, saya harus mencocokkan model dengan dua variabel prediktor. Saya kemudian harus menggambar plot residu model terhadap salah satu prediktor yang disertakan dan membuat perubahan berdasarkan itu. Plotnya menunjukkan tren lengkung dan jadi saya memasukkan istilah kuadrat untuk prediktor itu. Model baru menunjukkan istilah kuadrat menjadi signifikan. …

15 statistical-significance  multiple-regression  modeling 

Apakah ada beberapa prosedur standar (sehingga orang dapat mengutipnya sebagai referensi) untuk memilih subset poin data dari kumpulan yang lebih besar dengan korelasi terkuat (sepanjang hanya dua dimensi)? Misalnya, Anda memiliki 100 titik data. Anda menginginkan subset 40 poin dengan korelasi terkuat di sepanjang dimensi X dan Y. Saya menyadari …

15 regression  correlation  autocorrelation 

Tanpa mengutip sumber, Wikipedia mendefinisikan lintas-entropi dari distribusi diskrit dan Q menjadiPPPQQQ H×( P; Q )= - ∑xp ( x )catatanq( x ) .H×(P;Q)=-∑xhal(x)catatan⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Siapa yang pertama kali mulai menggunakan jumlah ini? Dan siapa yang menemukan istilah ini? Saya melihat: JE Shore …

15 information-theory  entropy 

Saya merujuk pada video ceramah ini untuk menghitung interval kepercayaan . Namun, saya memiliki beberapa kebingungan. Orang ini menggunakan statistik untuk perhitungan. Namun, saya pikir itu seharusnya t- statistik. Kami tidak diberi standar deviasi populasi yang sebenarnya. Kami menggunakan standar deviasi sampel untuk memperkirakan yang benar.zzzttt Jadi mengapa dia mengambil …

15 confidence-interval  t-distribution 

Misalkan kita punya X 2 ∼ unif ( n , 0 , 1 ) ,X1∼unif(n,0,1),X1∼unif(n,0,1),X_1 \sim \textrm{unif}(n,0,1), X2∼unif(n,0,1),X2∼unif(n,0,1),X_2 \sim \textrm{unif}(n,0,1), di mana adalah sampel acak ukuran seragam, danunif(n,0,1)unif(n,0,1)\textrm{unif}(n,0,1) Y=X1,Y=X1,Y=X_1, Z=0.4X1+1−0.4−−−−−−√X2.Z=0.4X1+1−0.4X2.Z = 0.4 X_1 + \sqrt{1 - 0.4}X_2. Maka korelasi antara dan Z adalah 0,4 .YYYZZZ0.40.40.4 Bagaimana saya bisa memperluas ini …

15 r  correlation  random-generation  uniform 

Minggu lalu saya melakukan diskusi yang menarik dengan teman baik saya. Dia telah bermain beberapa poker online dan menyarankan bahwa ada hubungan antara langganan baru / transfer uang tambahan dan kartu yang Anda bagikan, yaitu Anda mendapatkan kartu yang bagus untuk ketagihan. Situs mungkin akan banyak mengambil risiko jika ini …

15 binomial  games  wilcoxon-signed-rank 

Saya menggunakan rlm dalam paket R MASS untuk mengembalikan model linier multivarian. Ini bekerja dengan baik untuk sejumlah sampel tetapi saya mendapatkan koefisien kuasi-nol untuk model tertentu: Call: rlm(formula = Y ~ X1 + X2 + X3 + X4, data = mymodel, maxit = 50, na.action = na.omit) Residuals: Min …

15 r  multiple-regression  robust 

Saya ingin menyiapkan algoritme untuk mendeteksi anomali dalam deret waktu, dan saya berencana menggunakan pengelompokan untuk itu. Mengapa saya harus menggunakan matriks jarak untuk pengelompokan dan bukan data deret waktu mentah ?, Untuk mendeteksi anomali, saya akan menggunakan pengelompokan berbasis kepadatan, algoritma sebagai DBscan, jadi apakah itu akan berhasil dalam …

15 time-series  clustering  trend 

Saya sedang mempelajari kursus pembelajaran mesin dan slide kuliah berisi informasi apa yang saya temukan bertentangan dengan buku yang direkomendasikan. Masalahnya adalah sebagai berikut: ada tiga pengklasifikasi: classifier A memberikan kinerja yang lebih baik di kisaran ambang yang lebih rendah, classifier B memberikan kinerja yang lebih baik dalam rentang ambang …

15 machine-learning  probability  data-visualization  classification  roc 

Saya sangat baru dalam analisis data fungsional (FDA). Saya membaca: Ramsay, James O., dan Silverman, Bernard W. (2006), Analisis Data Fungsional, edisi ke-2, Springer, New York. Namun, saya masih belum begitu jelas di mana / kapan harus menggunakan FDA? Bisakah seseorang tolong beri saya contoh terutama dalam studi medis? Saya …

15 statistical-significance  cross-validation  nonparametric 

"Bootstrap validation" / "resampling cross-validation" adalah hal baru bagi saya, tetapi telah dibahas oleh jawaban untuk pertanyaan ini . Saya mengumpulkannya melibatkan 2 jenis data: data nyata dan data simulasi, di mana satu set data simulasi yang dihasilkan dihasilkan dari data nyata dengan resampling-dengan-penggantian sampai data simulasi memiliki ukuran yang …

15 cross-validation  bootstrap  validation  resampling 

Melalui situs ini, saya baru saja menemukan Diagram Sankey, cara yang bagus untuk memvisualisasikan apa yang terjadi dalam diagram alur tradisional . Berikut adalah contoh yang baik dari Diagram Sankey oleh George M. Whitesides dan George W. Crabtree , Source; Jangan Lupa Riset Fundamental Jangka Panjang dalam Energi , Sains …

15 r  data-visualization  sankey-diagram