Statistik dan Big Data

Mengutip dari salah satu penulis: t-Distributed Stochastic Neighbor Embedding (t-SNE) adalah teknik ( pemenang hadiah ) untuk pengurangan dimensi yang sangat cocok untuk visualisasi dataset dimensi tinggi. Jadi kedengarannya hebat, tapi itu yang penulis bicarakan. Kutipan lain dari penulis (re: kompetisi yang disebutkan sebelumnya): Apa yang telah Anda ambil dari …

37 data-visualization  dimensionality-reduction  tsne 

Suatu masalah yang sering saya lihat dalam konteks Neural Networks pada umumnya, dan Deep Neural Networks pada khususnya, adalah bahwa mereka "lapar data" - yaitu mereka tidak berkinerja baik kecuali kita memiliki kumpulan data yang besar untuk melatih jaringan. Pemahaman saya adalah bahwa ini disebabkan oleh fakta bahwa NNets, terutama …

37 neural-networks  deep-learning  regularization 

Saya melakukan analisis komponen utama (PCA) dengan R menggunakan dua fungsi yang berbeda ( prcompdan princomp) dan mengamati bahwa skor PCA berbeda dalam tanda. Bagaimana bisa? Pertimbangkan ini: set.seed(999) prcomp(data.frame(1:10,rnorm(10)))$x PC1 PC2 [1,] -4.508620 -0.2567655 [2,] -3.373772 -1.1369417 [3,] -2.679669 1.0903445 [4,] -1.615837 0.7108631 [5,] -0.548879 0.3093389 [6,] 0.481756 0.1639112 …

37 r  pca  factor-analysis 

Saya bertanya-tanya apa perbedaan dan hubungan antara perkiraan dan prediksi? Terutama dalam deret waktu dan regresi? Sebagai contoh, apakah saya benar bahwa: Dalam deret waktu, peramalan tampaknya berarti memperkirakan nilai masa depan yang diberikan nilai lampau dari deret waktu. Dalam regresi, prediksi tampaknya berarti memperkirakan nilai apakah itu masa depan, …

37 regression  time-series  forecasting  terminology 

Ada beberapa teknik resampling populer, yang sering digunakan dalam praktik, seperti bootstrap, uji permutasi, jackknife, dll. Ada banyak artikel & buku yang membahas teknik ini, misalnya Philip I Good (2010) Permutasi, Parametrik, dan Bootstrap Tests Hipotesis Pertanyaan saya adalah teknik resampling mana yang mendapatkan popularitas lebih dan lebih mudah untuk …

37 hypothesis-testing  nonparametric  bootstrap  permutation-test 

Saya mencoba untuk menyesuaikan data saya ke dalam berbagai model dan tahu bahwa fitdistrfungsi dari perpustakaan MASSdari Rmemberi saya Negative Binomialsebagai yang terbaik-fit. Sekarang dari halaman wiki , definisi diberikan sebagai: Distribusi NegBin (r, p) menggambarkan probabilitas kegagalan k dan keberhasilan r dalam percobaan k + r Bernoulli (p) dengan …

37 r  distributions  modeling  negative-binomial 

Saya telah menggunakan paket caret dalam R untuk membangun model prediksi untuk klasifikasi dan regresi. Caret menyediakan antarmuka terpadu untuk menyetel model hiper-parameter dengan validasi silang atau strapping boot. Misalnya, jika Anda sedang membangun model 'tetangga terdekat' yang sederhana untuk klasifikasi, berapa banyak tetangga yang harus Anda gunakan? 2? 10? …

37 r  time-series  cross-validation 

Pada halaman 223 dalam Pengantar Pembelajaran Statistik , penulis merangkum perbedaan antara regresi ridge dan laso. Mereka memberikan contoh (Gambar 6.9) ketika "laso cenderung mengungguli regresi ridge dalam hal bias, varians, dan MSE". Saya mengerti mengapa laso diinginkan: ini menghasilkan solusi yang jarang karena menyusut banyak koefisien menjadi 0, menghasilkan …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

Saya membaca " Pengantar Pembelajaran Statistik ". Dalam bab 2, mereka membahas alasan untuk memperkirakan fungsi .fff 2.1.1 Mengapa Memperkirakan ?fff Ada dua alasan utama yang kami perkirakan untuk memperkirakan f : prediksi dan inferensi . Kami membahas masing-masing secara bergantian. Saya sudah membacanya beberapa kali, tetapi saya masih belum …

37 prediction  terminology  causality 

Saya melatih jaringan saraf dan kehilangan pelatihan berkurang, tetapi kehilangan validasi tidak, atau berkurang jauh lebih sedikit daripada yang saya harapkan, berdasarkan referensi atau percobaan dengan arsitektur dan data yang sangat mirip. Bagaimana saya bisa memperbaikinya? Adapun pertanyaan Apa yang harus saya lakukan ketika jaringan saraf saya tidak belajar? dimana …

37 neural-networks  deep-learning 

Apa perbedaan antara istilah "kernel" dan "filter" dalam konteks jaringan saraf convolutional?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Uji Mantel digunakan secara luas dalam penelitian biologi untuk menguji korelasi antara distribusi spasial hewan (posisi dalam ruang) dengan, misalnya, keterkaitan genetiknya, tingkat agresi atau beberapa atribut lainnya. Banyak jurnal yang baik menggunakannya ( PNAS, Perilaku Hewan, Ekologi Molekuler ... ). Saya membuat beberapa pola yang mungkin terjadi di alam, …

37 r  correlation  spatial  pattern-recognition 

Saya saat ini menggunakan paket R lme4 . Saya menggunakan model efek campuran linier dengan efek acak: library(lme4) mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + # random effects …

37 r  regression  mixed-model  random-effects-model 

Saya hanya ingin tahu mengapa biasanya hanya ada regularisasi norma dan . Apakah ada bukti mengapa ini lebih baik?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Saya mencoba memahami sejarah keturunan Gradient dan Stochastic gradient descent . Keturunan gradien ditemukan di Cauchy pada tahun 1847. Méthode générale pour la résolution des systèmes d'équations simultanées . hlm. 536–538 Untuk informasi lebih lanjut lihat di sini . Sejak itu metode gradient descent terus berkembang dan saya tidak terbiasa …

36 references  gradient-descent  history  sgd