Statistik dan Big Data

Saya berbicara di sini tentang matriks korelasi Pearson. Saya sering mendengarnya mengatakan bahwa semua matriks korelasi harus semidefinit positif. Pemahaman saya adalah bahwa matriks pasti positif harus memiliki nilai eigen , sedangkan matriks semidefinit positif harus memiliki nilai eigen . Ini membuat saya berpikir bahwa pertanyaan saya dapat diulangi sebagai …

11 covariance-matrix  eigenvalues  correlation-matrix 

Salah satu cara untuk menghasilkan embeddings kata adalah sebagai berikut ( mirror ): Dapatkan kopral, misalnya "Saya menikmati terbang. Saya suka NLP. Saya suka belajar dalam-dalam." Bangun kata cooccurrence matrix dari itu: Lakukan SVD pada , dan pertahankan kolom pertama U.XXXkkk Setiap baris submatrix akan menjadi kata embedding dari kata …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Saya memiliki masalah yang mirip dengan pertanyaan yang diajukan di sini: Bagaimana cara mengukur ketidakseragaman suatu distribusi? Saya memiliki satu set distribusi probabilitas selama beberapa hari dalam seminggu. Saya ingin mengukur seberapa dekat masing-masing distribusi dengan (1 / 7,1 / 7, ..., 1/7). Saat ini saya menggunakan jawaban dari pertanyaan …

11 probability  distributions  random-variable  uniform  measurement 

Bagaimana saya bisa menghitung jumlah parameter dalam jaringan saraf tiruan untuk menghitung AIC-nya?

11 neural-networks  aic 

Apa perbedaan statistik antara melakukan regresi linier dalam R dengan formulahimpunan y ~ x + 0bukan y ~ x? Bagaimana cara saya menafsirkan dua hasil yang berbeda itu?

11 multiple-regression  generalized-linear-model  intercept 

Metode bootstrap telah melihat difusi besar dalam beberapa tahun terakhir, saya juga banyak menggunakannya, terutama karena alasan di balik ini cukup intuitif. Tapi itu satu hal yang saya tidak mengerti. Mengapa Efron memilih untuk melakukan resample dengan penggantian alih-alih hanya subsampling dengan secara acak memasukkan atau tidak termasuk pengamatan tunggal? …

11 bootstrap  resampling  subsampling 

Pertanyaan saya mengungkapkan pemahaman saya yang buruk tentang regresi Poisson dan GLM secara umum. Berikut beberapa data palsu untuk mengilustrasikan pertanyaan saya: ### some fake data x=c(1:14) y=c(0, 1, 2, 3, 1, 4, 9, 18, 23, 31, 20, 25, 37, 45) Beberapa fungsi khusus untuk mengembalikan psuedo-R2: ### functions of …

11 generalized-linear-model  poisson-distribution 

Ini adalah fungsi kerugian penyimpangan binomial scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() …

11 machine-learning  scikit-learn  boosting  loss-functions 

Saya bertanya-tanya bagaimana saya bisa mensimulasikan sampel dari masa distribusi Weibull yang mencakup pengamatan tipe-kanan I. Misalnya, mari kita memiliki n = 3, bentuk = 3, skala = 1 dan tingkat sensor = .15, dan waktu sensor = .88. Saya tahu cara membuat sampel Weibull tapi saya tidak tahu cara …

11 r  survival  simulation  random-generation 

Saya ingin melatih SVM untuk mengklasifikasikan kasus (BENAR / SALAH) berdasarkan 20 atribut. Saya tahu bahwa beberapa atribut tersebut sangat berkorelasi. Karena itu pertanyaan saya adalah: apakah SVM sensitif terhadap korelasi, atau redundansi, di antara fitur-fiturnya? Ada referensi?

11 svm  multicollinearity  kernel-trick 

Sambil melakukan beberapa EDA saya memutuskan untuk menggunakan plot kotak untuk menggambarkan perbedaan antara dua tingkat faktor. Cara ggplot membuat plot kotak cukup memuaskan, tetapi sedikit sederhana (plot pertama di bawah). Sementara meneliti karakteristik plot kotak saya mulai bereksperimen dengan takik. Saya mengerti takik menampilkan CI di sekitar median, dan …

11 data-visualization  ggplot2  eda 

Rantai Markov masuk akal bagi saya, saya bisa menggunakannya untuk memodelkan perubahan keadaan probabilistik dalam masalah kehidupan nyata. Lalu datanglah HMM. HMM dikatakan lebih cocok untuk memodelkan banyak masalah daripada MC. Namun, masalah yang orang sebutkan agak rumit untuk dipahami seperti pemrosesan ucapan. Jadi pertanyaan saya adalah dapatkah Anda menggambarkan …

11 hidden-markov-model 

Ketika menerapkan autoencoder dengan jaringan saraf, kebanyakan orang akan menggunakan sigmoid sebagai fungsi aktivasi. Bisakah kita menggunakan ReLU saja? (Karena ReLU tidak memiliki batas pada batas atas, pada dasarnya berarti gambar input dapat memiliki pixel lebih besar dari 1, tidak seperti kriteria terbatas untuk autoencoder ketika sigmoid digunakan).

11 machine-learning  neural-networks  deep-learning  autoencoders 

Saya diplot dengan kode berikut dengan fungsi stl (Seasonal Decomposition of Time Series by Loess): plot(stl(ts(rnorm(144), frequency=12), s.window="periodic")) Ini menunjukkan variasi musiman yang signifikan dengan data acak dimasukkan ke dalam kode di atas (fungsi rnorm). Variasi yang signifikan terlihat setiap kali dijalankan, meskipun polanya berbeda. Dua pola tersebut ditunjukkan di …

11 time-series  seasonality  loess 

Jika β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , dapat ∥β∗∥2‖β∗‖2\|\beta^*\|_2 meningkat saat λλ\lambda meningkat? Saya pikir ini mungkin. Meskipun ∥β∗∥1‖β∗‖1\|\beta^*\|_1 tidak meningkat ketika λλ\lambda meningkat ( bukti saya ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 dapat meningkat. Gambar di bawah ini menunjukkan kemungkinan. Ketika λλ\lambda meningkat, jika β∗β∗\beta^* bergerak (linear) dari PPP ke QQQ , maka ∥β∗∥2‖β∗‖2\|\beta^*\|_2 meningkat sementara …

11 lasso