Statistik dan Big Data

Distribusi Kolmogorov-Smirnov diketahui dari uji Kolmogorov-Smirnov . Namun, itu juga distribusi supremum jembatan Brown. Karena ini jauh dari jelas (bagi saya), saya ingin meminta Anda penjelasan intuitif tentang kebetulan ini. Referensi juga diterima.

16 distributions  hypothesis-testing  mathematical-statistics  stochastic-processes 

Saya sedang mencari beberapa teknik yang kuat untuk menghapus outlier dan kesalahan (apa pun penyebabnya) dari data time-series keuangan (yaitu tickdata). Tick-by-tick data time-series keuangan sangat berantakan. Ini berisi kesenjangan (waktu) yang sangat besar ketika pertukaran ditutup, dan membuat lompatan besar ketika pertukaran dibuka kembali. Ketika pertukaran terbuka, semua jenis …

16 time-series  outliers 

Saya bukan ahli statistik, tetapi saya sangat tertarik dengan statistik dan saya ingin membeli buku untuk dijadikan referensi. Saya punya beberapa buku tentang mata pelajaran tertentu (seperti Elemen Pembelajaran Statistik untuk pembelajaran mesin atau Analisis Data Bayesian untuk ... well, Bayesian Data Analysis :) Saya juga mencari buku yang lebih …

16 references 

Saya mengerti P( A ∩ B ) / P( B ) = P( A | B )P(SEBUAH∩B)/P(B)=P(SEBUAH|B)P(A\cap B)/P(B) = P(A|B) . Yang bersyarat adalah persimpangan A dan B dibagi dengan seluruh area B. Tetapi mengapa P(A∩B|C)/P(B|C)=P(A|B∩C)P(SEBUAH∩B|C)/P(B|C)=P(SEBUAH|B∩C)P(A\cap B|C)/P(B|C) = P(A|B \cap C) ? Bisakah Anda memberi intuisi? Bukankah seharusnya: ?P(A∩B∩C)/P(B,C)=P(A|B∩C)P(SEBUAH∩B∩C)/P(B,C)=P(SEBUAH|B∩C)P(A\cap B …

16 probability  conditional-probability 

Variabel input saya memiliki dimensi yang berbeda. Beberapa variabel adalah desimal sementara beberapa lainnya ratusan. Apakah penting untuk memusatkan (mengurangi rata-rata) atau skala (dibagi dengan standar deviasi) variabel-variabel input ini untuk membuat data tidak berdimensi saat menggunakan hutan acak?

16 random-forest  standardization  data-preprocessing  centering 

Dalam studi saya, saya akan mengukur beban kerja dengan beberapa metrik. Dengan variabilitas denyut jantung (HRV), aktivitas electrodermal (EDA) dan dengan skala subjektif (IWS). Setelah normalisasi, IWS memiliki tiga nilai: Beban kerja lebih rendah dari biasanya Beban kerja rata-rata Beban kerja lebih tinggi dari biasanya. Saya ingin melihat seberapa baik …

16 r  logistic  lme4-nlme  ordered-logit  polr 

Saya bertanya-tanya apakah ada hubungan di antara 3 ukuran ini. Saya sepertinya tidak bisa membuat hubungan di antara mereka dengan merujuk pada definisi (mungkin karena saya baru dengan definisi ini dan saya mengalami sedikit waktu sulit memahami mereka). Saya tahu kisaran kesamaan cosinus dapat dari 0 - 1, dan bahwa …

16 correlation  z-score  cosine-similarity 

Saya belajar tentang splines dari buku "Elemen-elemen Pembelajaran Statistik, Penambangan, Inferensi, dan Prediksi" oleh Hastie et al. Saya menemukan pada halaman 145 bahwa splines kubik alami adalah linier di luar simpul batas. Ada KKK knot, ξ1,ξ2,...ξKξ1,ξ2,...ξK\xi_1, \xi_2, ... \xi_K dalam splines dan berikut ini diberikan tentang spline tersebut dalam buku. …

16 regression  degrees-of-freedom  splines  constraint  cubic 

Berapakah jumlah filter dalam lapisan konvolusi? Bagaimana angka ini mempengaruhi kinerja atau kualitas arsitektur? Maksud saya, haruskah kita selalu memilih jumlah filter yang lebih tinggi? apa yang baik dari mereka? dan Bagaimana orang menetapkan jumlah filter yang berbeda untuk berbagai lapisan? Maksud saya melihat pertanyaan ini: Bagaimana menentukan jumlah operator …

16 deep-learning  conv-neural-network 

Catatan: permintaan maaf sebelumnya jika ini adalah duplikat, saya tidak menemukan q serupa dalam pencarian saya Katakanlah kita memiliki parameter true p. Interval kepercayaan C (X) adalah RV yang berisi p, katakanlah 95% dari waktu. Sekarang anggaplah kita mengamati X dan menghitung C (X). Jawaban yang umum tampaknya adalah bahwa …

16 probability  confidence-interval 

Dalam model linier kita perlu memeriksa apakah ada hubungan antara variabel penjelas. Jika mereka berkorelasi terlalu banyak maka ada collinearity (yaitu, sebagian variabel saling menjelaskan satu sama lain). Saat ini saya hanya melihat korelasi berpasangan antara masing-masing variabel penjelas. Pertanyaan 1: Apa yang mengklasifikasikan korelasi terlalu banyak? Misalnya, apakah korelasi …

16 correlation  linear-model  multicollinearity 

Berbagai deskripsi tentang pemilihan model pada efek acak dari Linear Mixed Models memerintahkan untuk menggunakan REML. Saya tahu perbedaan antara REML dan ML pada tingkat tertentu, tetapi saya tidak mengerti mengapa REML harus digunakan karena ML bias. Misalnya, apakah salah menjalankan LRT pada parameter varians dari model distribusi normal menggunakan …

16 mixed-model  maximum-likelihood  unbiased-estimator  likelihood-ratio  reml 

Saya tahu 3 metode untuk melakukan estimasi parameter, pendekatan ML, MAP dan Bayes. Dan untuk pendekatan MAP dan Bayes, kita perlu memilih prior untuk parameter, kan? Katakanlah saya memiliki model ini , di mana α , β adalah parameter, untuk melakukan estimasi menggunakan MAP atau Bayes, saya membaca di buku …

16 bayesian  estimation  prior 

Adakah yang bisa menjelaskan fungsi autokorelasi dalam data deret waktu? Menerapkan ACF ke data, apa yang akan menjadi aplikasi?

16 autocorrelation 

Berapa jumlah observasi minimal yang "masuk akal" untuk mencari tren dari waktu ke waktu dengan regresi linier? bagaimana dengan pemasangan model kuadratik? Saya bekerja dengan indeks gabungan dari ketidaksetaraan dalam kesehatan (SII, RII), dan hanya memiliki 4 gelombang survei, jadi 4 poin (1997.2001.2004.2008). Saya bukan ahli statistik, tetapi saya memiliki …

16 regression