Statistik dan Big Data

Aku mencoba untuk menjawab pertanyaan Evaluasi terpisahkan dengan Pentingnya sampel metode dalam R . Pada dasarnya, pengguna perlu menghitung ∫π0f( x ) dx =∫π01cos( x)2+x2dx∫0πf(x)dx=∫0π1cos⁡(x)2+x2dx\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx menggunakan distribusi eksponensial sebagai distribusi kepentingan q( x ) = λ exp- λ xq(x)=λ exp-λxq(x)=\lambda\ \exp^{-\lambda x} dan temukan nilai yang memberikan perkiraan yang lebih …

9 r  simulation  exponential  importance-sampling 

Seperti banyak orang lain, saya menemukan sumber daya di sini dan di sini sangat berguna untuk memahami sel-sel LSTM. Saya yakin saya mengerti bagaimana nilai mengalir dan diperbarui, dan saya cukup percaya diri untuk menambahkan "koneksi lubang intip" yang disebutkan, dll. Dalam contoh saya, saya punya setiap langkah langkah vektor …

9 machine-learning  neural-networks  lstm  rnn 

Untuk beberapa tujuan, saya perlu menghasilkan angka acak (data) dari distribusi "seragam miring". "Kemiringan" dari distribusi ini dapat bervariasi dalam beberapa interval yang masuk akal, dan kemudian distribusi saya harus berubah dari seragam menjadi segitiga berdasarkan pada kemiringan. Inilah derivasi saya: Mari kita membuatnya sederhana dan menghasilkan data dari hingga …

9 r  distributions  python  random-generation  uniform 

Posting ini mengacu pada model regresi linier bivariat, Yi=β0+β1xiYi=β0+β1xiY_i = \beta_0 + \beta_1x_i . Saya selalu mengambil partisi jumlah total kuadrat (SSTO) menjadi jumlah kuadrat untuk kesalahan (SSE) dan jumlah kuadrat untuk model (SSR) pada iman, tetapi begitu saya mulai benar-benar memikirkannya, saya tidak mengerti mengapa ini bekerja ... Bagian …

9 regression  sums-of-squares  orthogonal 

Hanya ingin memeriksa beberapa alasan. Jika sampel asli saya berukuran dan saya bootstrap, maka proses pemikiran saya adalah sebagai berikut:nnn 1n1n\frac{1}{n} adalah peluang pengamatan apa pun yang diambil dari sampel asli. Untuk memastikan pengundian berikutnya bukan observasi sampel sebelumnya, kami membatasi ukuran sampel ke . Jadi, kita mendapatkan pola ini:n …

9 sampling  bootstrap  sample-size  subsampling 

Saya bingung dengan yang berikut ini, dan saya belum bisa menggali jawabannya di tempat lain. Saya mencoba mempelajari R sambil melakukan beberapa statistik, dan, sebagai latihan, saya mencoba memeriksa ulang hasil fungsi R bawaan dengan juga melakukan ini 'dengan tangan', seperti di R. , untuk tes Kruskal-Wallis saya terus mendapatkan …

9 r  kruskal-wallis  ties 

Saya mencoba melakukan SVD dengan tangan: m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) Tetapi baris terakhir tidak mkembali. Mengapa? Tampaknya ada hubungannya dengan tanda-tanda vektor eigen ini ... Atau apakah saya salah memahami prosedur?

9 r  svd  eigenvalues 

Saya mencoba mensimulasikan dataset yang cocok dengan data empiris yang saya miliki, tetapi saya tidak yakin bagaimana memperkirakan kesalahan dalam data asli. Data empiris mencakup heteroskedastisitas, tetapi saya tidak tertarik untuk mengubahnya, tetapi menggunakan model linier dengan istilah kesalahan untuk mereproduksi simulasi data empiris. Sebagai contoh, katakanlah saya memiliki beberapa …

9 r  simulation  heteroscedasticity  gamlss  dglm 

Hastie dan Tibshirani menyebutkan dalam bagian 4.3.2 dari buku mereka bahwa dalam pengaturan regresi linier, pendekatan kuadrat terkecil sebenarnya merupakan kasus khusus dari kemungkinan maksimum. Bagaimana kita dapat membuktikan hasil ini? PS: Tidak ada detail matematis.

9 regression  maximum-likelihood  least-squares 

Saya akan membahas masalah-masalah dalam tugas penugasan tertulis kelas pembelajaran mendalam di Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln Saya mencoba memahami jawaban untuk 3a di mana mereka mencari turunan ke vektor untuk kata pusat. Asumsikan Anda diberikan vektor kata yang diprediksi sesuai dengan kata tengah c untuk skipgram, dan prediksi kata dibuat dengan …

9 self-study  neural-networks  backpropagation  word2vec 

Saya mencoba membuat model yang diperkecil untuk memprediksi banyak variabel dependen (DV) (~ 450) yang sangat berkorelasi. Variabel independen saya (IV) juga banyak (~ 2000) dan sangat berkorelasi. Jika saya menggunakan laso untuk memilih model yang direduksi untuk setiap output secara terpisah, saya tidak dijamin mendapatkan subset variabel independen yang …

9 r  lasso  multivariate-regression 

Saya ingin menghitung pentingnya setiap fitur input menggunakan model yang mendalam. Tetapi saya hanya menemukan satu makalah tentang pemilihan fitur menggunakan pembelajaran mendalam - pemilihan fitur dalam . Mereka menyisipkan lapisan node yang terhubung ke setiap fitur secara langsung, sebelum lapisan tersembunyi pertama. Saya mendengar bahwa jaringan kepercayaan yang mendalam …

9 feature-selection  deep-learning  deep-belief-networks  rbm 

Saya menyesuaikan model efek campuran dengan istilah spline dalam aplikasi di mana tren dari waktu ke waktu dikenal sebagai kurva-linier. Namun, apa yang ingin saya nilai adalah apakah tren kurva-linier terjadi karena penyimpangan individu dari linieritas, atau apakah itu efek pada tingkat kelompok yang membuat tingkat kelompok yang sesuai tampak …

9 r  splines  lme4-nlme 

Apa perbedaan antara banyak pembelajaran dan pengurangan dimensi non-linear ? Saya telah melihat kedua istilah ini digunakan secara bergantian. Sebagai contoh: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : Manifold Learning (sering juga disebut sebagai pengurangan dimensi non-linear) mengejar tujuan untuk menanamkan data yang awalnya terletak di ruang dimensi tinggi di ruang dimensi yang lebih rendah, …

9 terminology  dimensionality-reduction  manifold-learning 

Saya belajar tentang bootstrap sebagai cara memperkirakan varians statistik sampel. Saya punya satu keraguan mendasar. Mengutip dari http://web.stanford.edu/class/psych252/tutorials/doBootstrapPrimer.pdf : • Berapa banyak pengamatan yang harus kita sampel ulang? Saran yang baik adalah ukuran sampel asli. Bagaimana kita bisa membuat sampel sebanyak pengamatan seperti pada sampel asli? Jika saya memiliki ukuran …

9 sampling  bootstrap  resampling