Statistik dan Big Data

The Durbin-Watson statistik uji dapat berbaring di wilayah yang tidak meyakinkan, di mana tidak mungkin baik untuk menolak atau gagal untuk menolak hipotesis nol (dalam hal ini, dari nol autokorelasi). Tes statistik apa lagi yang dapat menghasilkan hasil yang "tidak meyakinkan"? Apakah ada penjelasan umum (melambaikan tangan dengan baik) untuk …

10 hypothesis-testing  statistical-significance  decision-theory 

Saya hampir yakin saya sudah melihat hasil berikut dalam statistik tetapi saya tidak ingat di mana. Jika XXX adalah variabel acak positif dan E(X)&lt;∞E(X)&lt;∞\mathbb{E}(X)<\infty maka εF−1(1−ε)→0εF−1(1−ε)→0\varepsilon F^{-1}(1-\varepsilon) \to 0 ketika ε→0+ε→0+\varepsilon\to 0^+ , di mana FFF adalah cdf dari XXX . Hal ini mudah untuk melihat secara geometris dengan menggunakan …

10 references  quantiles  cdf  moments 

Saya telah mengikuti vektor X dan Y sederhana: &gt; X [1] 1.000 0.063 0.031 0.012 0.005 0.000 &gt; Y [1] 1.000 1.000 1.000 0.961 0.884 0.000 &gt; &gt; plot(X,Y) Saya ingin melakukan regresi menggunakan log X. Untuk menghindari log (0), saya mencoba untuk memberi +1 atau +0.1 atau +0.00001 atau …

10 r  regression  lognormal 

Jadi saya memiliki model biner di mana adalah variabel laten yang tidak teramati dan yang diamati. menentukan dan adalah instrumen saya. Jadi singkatnya modelnya. Karena istilah kesalahan tidak independen tetapi, Saya menggunakan model IV-probit.y∗1y1∗y_1^*y1∈ { 0 , 1 }y1∈{0,1}y_1 \in \{0,1\}y2y2y_2y1y1y_1z2z2z_2y∗1y2y1===δ1z1+ α1y2+ u1δ21z1+δ22z2+v2=zδ+v21[y∗&gt;0]y1∗=δ1z1+α1y2+u1y2=δ21z1+δ22z2+v2=zδ+v2y1=1[y∗&gt;0]\begin{eqnarray} y_1^*&=& \delta_1 z_1 + \alpha_1 y_2 + …

10 maximum-likelihood  econometrics  probit 

Dalam bagian 7 dari makalah Hutan Acak (Breiman, 1999), penulis menyatakan dugaan berikut: "Adaboost is a Random Forest". Adakah yang membuktikan, atau membantah ini? Apa yang telah dilakukan untuk membuktikan atau menyangkal postingan ini tahun 1999?

10 machine-learning  random-forest  boosting 

Saya minta maaf atas sedikit penyalahgunaan terminologi; Saya harap akan menjadi jelas apa yang saya maksud di bawah ini. Pertimbangkan variabel acak . Baik mean dan median dapat dikarakteristikkan dengan kriteria optimalitas: Mean adalah angka μ yang meminimalkan , dan median angka yang meminimalkan . Dalam perspektif ini, perbedaan antara …

10 mean  median 

Bayangkan sebuah situasi: Kami memiliki catatan sejarah (20 tahun) dari tiga tambang. Apakah kehadiran perak meningkatkan kemungkinan menemukan emas di tahun depan? Bagaimana cara menguji pertanyaan seperti itu? Berikut ini contoh data: mine_A &lt;- c("silver","rock","gold","gold","gold","gold","gold", "rock","rock","rock","rock","silver","rock","rock", "rock","rock","rock","silver","rock","rock") mine_B &lt;- c("rock","rock","rock","rock","silver","rock","rock", "silver","gold","gold","gold","gold","gold","rock", "silver","rock","rock","rock","rock","rock") mine_C &lt;- c("rock","rock","silver","rock","rock","rock","rock", "rock","silver","rock","rock","rock","rock","silver", "gold","gold","gold","gold","gold","gold") time &lt;- seq(from …

10 r  time-series  hypothesis-testing  stochastic-processes 

Saya memiliki matriks X , yang mengandung N saya = 20 sampel dalam ruang D = 100- dimensi. Saya sekarang ingin kode analisis komponen utama saya sendiri (PCA) di Matlab. Saya merendahkan X ke X 0 terlebih dahulu.20×10020×10020\times100XXXN=20N=20N=20D=100D=100D=100XXXX0X0X_0 Saya membaca dari kode seseorang bahwa dalam skenario seperti itu di mana …

10 pca 

Saya mengerti bahwa pelatihan awal digunakan untuk menghindari beberapa masalah dengan pelatihan konvensional. Jika saya menggunakan backpropagation dengan, katakanlah autoencoder, saya tahu saya akan mengalami masalah waktu karena backpropagation lambat, dan saya juga bisa terjebak dalam optima lokal dan tidak mempelajari fitur-fitur tertentu. Apa yang saya tidak mengerti adalah bagaimana …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Seperti yang disarankan dalam judul. Misalkan adalah variabel acak kontinu iid dengan pdf . Pertimbangkan kejadian yang , , dengan demikian adalah ketika urutan menurun untuk pertama kalinya. Lalu apa nilai ?X1,X2,…,XnX1,X2,…,XnX_1, X_2, \dotsc, X_nfffX1≤X2…≤XN−1&gt;XNX1≤X2…≤XN−1&gt;XNX_1 \leq X_2 \dotsc \leq X_{N-1} > X_NN≥2N≥2N \geq 2NNNE[N]E[N]E[N] Saya mencoba mengevaluasi terlebih dahulu. Saya …

10 probability  self-study  iid 

Saya seorang analis di bidang keuangan dan asuransi dan setiap kali saya mencoba menyesuaikan model volatilitas, saya mendapatkan hasil yang mengerikan: residu sering tidak stasioner (dalam pengertian unit root) dan heteroskedastik (sehingga model tidak menjelaskan volatilitas). Apakah model ARCH / GARCH bekerja dengan jenis data lain, mungkin? Diedit pada 17/04/2015 …

10 time-series  garch  volatility-forecasting  arch 

Saya melakukan tes post-hoc pada model efek campuran linear dalam R( lme4paket). Saya menggunakan multcomppaket ( glht()fungsi) untuk melakukan tes post-hoc. Desain eksperimental saya adalah tindakan berulang, dengan efek blok acak. Model ditentukan sebagai: mymod &lt;- lmer(variable ~ treatment * time + (1|block), data = mydata, REML = TRUE) Daripada …

10 mixed-model  post-hoc  lsmeans  lme4-nlme 

Saya pendatang baru dalam masalah banyak perbandingan. Saya bertanya-tanya bagaimana cara menghitung interval kepercayaan untuk metode Holm-Bonferroni? Saya tahu bahwa untuk metode Bonferroni kita hanya dapat mengubah tingkat kepercayaan dari menjadi .1 - α1−α1-\alpha1 - αm1−αm1-\frac{\alpha}{m} Apakah metode ini juga berfungsi untuk Holm-Bonferroni? E d i t :Edit:\bf{Edit}: Tampaknya metode …

10 multiple-comparisons  bonferroni 

Saya baru-baru ini belajar tentang PCA yang luar biasa dan saya telah melakukan contoh yang diuraikan dalam dokumentasi scikit-learn . Saya tertarik untuk mengetahui bagaimana saya bisa menerapkan PCA ke titik data baru untuk tujuan klasifikasi. Setelah memvisualisasikan PCA dalam bidang 2 dimensi (sumbu x, y), saya melihat bahwa saya …

10 classification  pca  scikit-learn 

Buktikan atau berikan contoh tandingan: Jika , makaXnXnX_n →a.s.→a.s.\,{\buildrel a.s. \over \rightarrow}\, XXX(∏ni=1Xi)1/n(∏i=1nXi)1/n(\prod_{i=1}^{n}X_i)^{1/n} →a.s.→a.s.\,{\buildrel a.s. \over \rightarrow}\, XXX Usaha saya : SALAH: Misalkan dapat mengambil nilai negatif, dan misalkanXXXXn≡XXn≡XX_n \equiv X ∀∀\forall nnn LALU , namun untuk genap , tidak sepenuhnya negatif. Sebaliknya, ia berganti negatif ke positif dan negatif. …

10 self-study  convergence  geometric-mean