Statistik dan Big Data

Saya memiliki matriks korelasi pengembalian keamanan yang determinannya nol. (Ini agak mengejutkan karena matriks korelasi sampel dan matriks kovarian yang sesuai secara teoritis pasti positif.) Hipotesis saya adalah bahwa setidaknya satu sekuritas secara linear tergantung pada sekuritas lainnya. Apakah ada fungsi dalam R yang secara berurutan menguji setiap kolom sebuah …

26 r  correlation  pca  linear-model  svd 

Saya menjalankan model regresi LOESS dalam R, dan saya ingin membandingkan output dari 12 model yang berbeda dengan ukuran sampel yang bervariasi. Saya dapat menjelaskan model yang sebenarnya lebih terinci jika itu membantu dengan menjawab pertanyaan. Berikut adalah ukuran sampel: Fastballs vs RHH 2008-09: 2002 Fastballs vs LHH 2008-09: 2209 …

26 r  regression  loess 

Mengutip jawaban hebat gung Diduga, seorang peneliti pernah mendekati Fisher dengan hasil 'tidak signifikan', bertanya kepadanya apa yang harus dia lakukan, dan Fisher berkata, 'dapatkan lebih banyak data'. Dari perspektif Neyman-Pearson, ini terang-terangan ppp -hacking, tetapi ada kasus penggunaan di mana Fisher go-get-lebih-data yang pendekatan masuk akal?

26 hypothesis-testing  p-value  intuition  philosophical 

Asumsikan saya ingin melakukan klasifikasi biner (sesuatu milik kelas A atau kelas B). Ada beberapa kemungkinan untuk melakukan ini di lapisan output dari jaringan saraf: Gunakan 1 simpul output. Output 0 (<0,5) dianggap kelas A dan 1 (> = 0,5) dianggap kelas B (dalam kasus sigmoid) Gunakan 2 node output. …

26 machine-learning  classification  neural-networks 

Kehilangan latihan saya turun dan naik lagi. Sangat aneh. Kehilangan validasi silang melacak kehilangan pelatihan. Apa yang sedang terjadi? Saya memiliki dua LSTMS yang ditumpuk sebagai berikut (pada Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Saya latih untuk 100 Zaman: model.fit(X_train, …

26 machine-learning  neural-networks  loss-functions  lstm 

Saya punya pertanyaan sederhana tentang "probabilitas bersyarat" dan "Kemungkinan". (Saya sudah mensurvei pertanyaan ini di sini tetapi tidak berhasil.) Itu dimulai dari halaman Wikipedia tentang kemungkinan . Mereka mengatakan ini: The kemungkinan dari seperangkat nilai-nilai parameter, , mengingat hasil , sama dengan probabilitas yang hasil yang diamati diberikan nilai-nilai parameter, …

26 probability  bayesian  conditional-probability  likelihood  definition 

Saat melakukan inferensi Bayesian, kami beroperasi dengan memaksimalkan fungsi kemungkinan kami bersama dengan prior yang kami miliki tentang parameter. Karena kemungkinan log lebih nyaman, kami secara efektif memaksimalkan menggunakan MCMC atau yang menghasilkan distribusi posterior (menggunakan pdf untuk setiap parameter sebelum dan setiap kemungkinan titik data).∑ln(prior)+∑ln(likelihood)∑di⁡(sebelumnya)+∑di⁡(kemungkinan)\sum \ln (\text{prior}) + \sum …

26 bayesian  prior 

Apakah mungkin untuk menemukan nilai-p dalam korelasi pearson dalam R? Untuk menemukan korelasi pearson, saya biasanya melakukan ini col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Tetapi bagaimana saya bisa menemukan nilai p ini?

26 r  correlation  p-value  pearson-r 

Dalam regresi linier, setiap nilai prediksi diasumsikan telah diambil dari distribusi normal dari nilai yang mungkin. Lihat di bawah. Tetapi mengapa masing-masing nilai prediksi diasumsikan berasal dari distribusi normal? Bagaimana regresi linier menggunakan asumsi ini? Bagaimana jika nilai yang mungkin tidak terdistribusi secara normal?

26 regression  probability  distributions  normal-distribution  modeling 

Katakanlah saya memiliki tiga sumber independen dan masing-masing membuat prediksi untuk cuaca besok. Yang pertama mengatakan bahwa probabilitas hujan besok adalah 0, kemudian yang kedua mengatakan bahwa probabilitasnya adalah 1, dan akhirnya yang terakhir mengatakan bahwa probabilitasnya adalah 50%. Saya ingin mengetahui probabilitas total yang diberikan informasi itu. Jika menerapkan …

26 probability  bayesian  pooling  model-averaging  forecast-combination 

Dari apa yang saya pahami, kita hanya bisa membangun fungsi regresi yang terletak di dalam interval data pelatihan. Misalnya (hanya satu panel yang diperlukan): Bagaimana saya memprediksi ke masa depan menggunakan regresor KNN? Sekali lagi, tampaknya hanya memperkirakan fungsi yang berada dalam interval data pelatihan. Pertanyaan saya: Apa keuntungan menggunakan …

26 regression  machine-learning  k-nearest-neighbour 

Siswa pekerja keras adalah contoh tandingan untuk "semua siswa malas". Apa sajakah contoh tandingan sederhana untuk "jika variabel acak dan tidak berkorelasi maka mereka independen"?YXXXYYY

26 correlation  random-variable  independence 

Saya mencoba untuk mendapatkan pemahaman intuitif standar deviasi yang lebih baik. Dari apa yang saya pahami, ini mewakili rata-rata perbedaan dari satu set pengamatan dalam satu set data dari rata-rata set data tersebut. Namun sebenarnya BUKAN sama dengan rata-rata perbedaan karena memberikan bobot lebih untuk pengamatan lebih jauh dari rata-rata. …

26 standard-deviation  intuition 

Untuk regresi Lasso, misalkan solusi terbaik (contohnya kesalahan pengujian minimum) memilih fitur , sehingga \ hat {\ beta} ^ {lasso} = \ kiri (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ benar) …

26 regression  feature-selection  lasso  regularization 

Saya mencari beberapa informasi tentang perbedaan antara binomial, binomial negatif dan regresi Poisson dan untuk situasi mana regresi ini paling cocok. Apakah ada tes yang dapat saya lakukan di SPSS yang dapat memberitahu saya mana dari regresi ini yang terbaik untuk situasi saya? Juga, bagaimana cara menjalankan Poisson atau binomial …

26 spss  references  binomial  poisson-distribution  negative-binomial