Statistik dan Big Data

Dalam model y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon , kita dapat memperkirakan ββ\beta menggunakan persamaan normal ： β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,dan kita bisa mendapatkan y =X β .y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. Vektor residu diperkirakan oleh ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y …

13 regression  least-squares  inference 

Saya tahu bahwa pemilihan fitur dan pengurangan dimensi bertujuan mengurangi jumlah fitur dalam set fitur asli. Apa perbedaan yang tepat antara keduanya jika kita melakukan hal yang sama pada keduanya?

13 machine-learning  pca  feature-selection  dimensionality-reduction 

Bisakah saya menggunakan plot kotak-dan-kumis juga untuk distribusi multimodal atau hanya untuk distribusi unimodal?

13 distributions  data-visualization  boxplot 

Saya sedang mengerjakan proyek kecil di mana kami mencoba memprediksi harga komoditas (Minyak, Aluminium, Timah, dll.) Selama 6 bulan ke depan. Saya punya 12 variabel untuk diprediksi dan saya punya data dari Apr, 2008 - Mei 2013. Bagaimana saya harus pergi tentang prediksi? Saya telah melakukan yang berikut: Data yang …

13 r  time-series  forecasting  neural-networks  arima 

Katakanlah, XXX tergantung pada αα\alpha . Berbicara dengan keras, jika XXX dan αα\alpha keduanya merupakan variabel acak, kita dapat menulis p ( X∣ α )hal(X∣α)p(X\mid\alpha) ; namun, jika adalah variabel acak dan adalah parameter, kita harus menulis .XXXαα\alphap ( X; α )hal(X;α)p(X; \alpha) Saya perhatikan beberapa kali bahwa komunitas pembelajaran …

13 machine-learning  terminology 

Saat melakukan regresi jika kita menggunakan definisi dari: Apa perbedaan antara kemungkinan parsial, kemungkinan profil dan kemungkinan marginal? itu, Kemungkinan Maksimum Temukan β dan θ yang memaksimalkan L (β, θ | data). Sementara, Marginal Likelihood Kami mengintegrasikan θ dari persamaan kemungkinan dengan mengeksploitasi fakta bahwa kami dapat mengidentifikasi distribusi probabilitas …

13 regression  maximum-likelihood 

Saya ingin menguji kointegrasi antara dua seri waktu. Kedua seri memiliki rentang data mingguan ~ 3 tahun. Saya mencoba melakukan Metode Dua Langkah Engle-Granger. Pesanan operasi saya berikut. Uji setiap seri waktu untuk root unit melalui Augmented Dickey-Fuller. Dengan asumsi keduanya memiliki unit root, kemudian temukan pendekatan linier hubungan melalui …

13 time-series  cointegration  unit-root  augmented-dickey-fuller 

(Walaupun saya menyadari ini bukan semata-mata tentang statistik, ini adalah tentang penyebaran statistik dalam lingkungan bisnis, jadi saya berasumsi ini masih dalam kisaran topik CV) Sedikit latar belakang singkat: Lingkungan bisnis kami (dan saya menduga lingkungan lain) memiliki fungsi pendukung yang berspesialisasi dalam analisis statistik dan penelitian. Kami bekerja erat …

13 business-intelligence  consulting 

Telah diketahui bahwa efisiensi relatif asimptotik (ADA) dari uji peringkat bertanda Wilcoxon adalah 3π≈ 0,9553π≈0,955\frac{3}{\pi} \approx 0.955dibandingkan dengan Studentt-test, jika data diambil dari populasi terdistribusi normal. Ini berlaku untuk tes satu sampel dasar dan varian untuk dua sampel independen (Wilcoxon-Mann-Whitney U). Ini juga ARE dari tes Kruskal-Wallis dibandingkan dengan ANOVA …

13 nonparametric  wilcoxon-mann-whitney  asymptotics  efficiency  wilcoxon-signed-rank 

Menurut Fritz, Morris, dan Richler (2011; lihat di bawah), dapat dihitung sebagai ukuran efek untuk uji U Mann-Whitney menggunakan rumus r = zrrr ini nyaman untuk saya, karena saya melaporkanrjuga pada kesempatan lain. Saya ingin melaporkan interval kepercayaan untukrselain ukuran ukuran efek.r=zN−−√r=zN r = \frac{z}{\sqrt N} rrrrrr Ini pertanyaan saya …

13 confidence-interval  effect-size  wilcoxon-mann-whitney  spearman-rho 

Saya ingin melakukan tes W Shapiro Wilk dan tes Kolmogorov-Smirnov pada residu model linier untuk memeriksa normalitas. Saya hanya bertanya-tanya residual apa yang harus digunakan untuk ini - residu mentah, residu Pearson, residu pelajar atau residu terstandarisasi? Untuk uji W Shapiro-Wilk tampak bahwa hasil untuk residu baku & Pearson identik …

13 r  regression  residuals  normality-assumption  lm 

Bagaimana cara menentukan rangkaian waktu? Apakah boleh untuk hanya mengambil perbedaan pertama dan menjalankan tes Dickey Fuller, dan jika itu stasioner kita baik? Saya juga menemukan secara online bahwa saya dapat menentukan urutan waktu dengan melakukan ini di Stata: reg lncredit time predict u_lncredit, residuals twoway line u_lncredit time dfuller …

13 regression  time-series  stata  stationarity 

Sekitar 600 siswa memiliki skor pada penilaian yang luas, yang dapat dianggap memiliki keandalan / validitas yang baik. Penilaian dinilai dari 100, dan ini merupakan tes pilihan ganda yang ditandai oleh komputer. Ke-600 siswa itu juga mendapat nilai pada penilaian kedua, minor,. Dalam penilaian kedua ini, mereka dipisahkan menjadi 11 …

13 agreement-statistics 

Saya belajar dalam statistik dasar bahwa, dengan model linear umum, agar kesimpulan valid, pengamatan harus independen. Ketika pengelompokan terjadi, independensi mungkin tidak lagi mengarah pada inferensi yang tidak valid kecuali hal ini diperhitungkan. Salah satu cara untuk menjelaskan pengelompokan tersebut adalah dengan menggunakan model campuran. Saya ingin mencari contoh dataset, …

13 r  mixed-model  inference  independence 

Saya membaca komentar di kertas, dan penulis menyatakan bahwa kadang-kadang, meskipun estimator (ditemukan oleh ML atau quasilikelihood maksimum) mungkin tidak konsisten, kekuatan rasio kemungkinan atau uji rasio kuasi-kemungkinan masih dapat menyatu dengan 1 karena jumlah data yang diamati cenderung tidak terbatas (uji konsistensi). Bagaimana dan kapan ini terjadi? Apakah Anda …

13 mathematical-statistics  references  inference  power  consistency