Statistik dan Big Data

Kecenderungan sentral, penyebaran, dan kemiringan dapat didefinisikan dengan relatif baik, setidaknya berdasarkan intuisi; ukuran matematis standar dari hal-hal ini juga berhubungan relatif baik dengan gagasan intuitif kita. Tetapi kurtosis tampaknya berbeda. Ini sangat membingungkan dan tidak cocok dengan intuisi tentang bentuk distribusi. Penjelasan khas tentang kurtosis dalam pengaturan yang diterapkan …

17 descriptive-statistics  kurtosis  teaching  l-moments 

Secara umum, dalam masalah klasifikasi di mana tujuannya adalah untuk secara akurat memprediksi keanggotaan kelas out-of-sample, kapan saya harus tidak menggunakan ensemble classifier? Pertanyaan ini terkait erat dengan Mengapa tidak selalu menggunakan pembelajaran ensemble? . Pertanyaan itu menanyakan mengapa kita tidak menggunakan ansambel sepanjang waktu. Saya ingin tahu apakah ada …

17 classification  boosting  ensemble  bagging 

Adakah yang bisa menjelaskan kepada saya perbedaan nyata antara analisis regresi dan pemasangan kurva (linear dan nonlinier), dengan contoh jika mungkin? Tampaknya keduanya mencoba untuk menemukan hubungan antara dua variabel (dependen vs independen) dan kemudian menentukan parameter (atau koefisien) yang terkait dengan model yang diusulkan. Misalnya, jika saya memiliki satu …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Gambarkan secara acak nnn interval dari , di mana setiap titik akhir A, B dipilih dari distribusi seragam antara .[0,1][0,1][0,1][0,1][0,1][0,1] Berapa probabilitas bahwa setidaknya satu interval tumpang tindih dengan yang lain?

17 probability 

Saya diminta untuk menemukan nilai-p untuk statistik deskriptif. Namun, saya memahami bahwa nilai-p adalah untuk statistik uji. Jika saya tidak salah, nilai-p adalah probabilitas mengamati nilai yang sama ekstrimnya dengan statistik uji jika hipotesis nol itu benar.

17 hypothesis-testing  descriptive-statistics  inference 

Saya memiliki beberapa data yang saya pas menggunakan model LOESS di R, memberi saya ini: Data memiliki satu prediktor dan satu respons, dan bersifat heteroskedastik. Saya juga menambahkan interval kepercayaan. Masalahnya adalah intervalnya adalah interval kepercayaan untuk garis, sedangkan saya tertarik pada interval prediksi. Misalnya, panel bawah lebih bervariasi daripada …

17 r  regression  prediction-interval  loess 

Saya (kurang-lebih) pernah mendengar bahwa: bagging adalah teknik untuk mengurangi varians dari algoritma prediktor / estimator / pembelajaran. Namun, saya belum pernah melihat bukti matematis formal dari pernyataan ini. Adakah yang tahu mengapa ini benar secara matematis? Sepertinya fakta yang diterima / diketahui secara luas, sehingga saya akan mengharapkan referensi …

17 machine-learning  mathematical-statistics  bagging 

Saya baru mengenal Recurrent Neural Networks (RNN) dan masih mempelajari konsep-konsepnya. Saya mengerti pada tingkat abstrak bahwa Echo State Network (ESN) dapat (kembali) menghasilkan urutan input, yaitu sinyal, bahkan setelah input telah dihapus. Namun, saya menemukan artikel Scholarpedia terlalu sulit untuk dipahami dan dipahami sepenuhnya. Dapatkah seseorang tolong jelaskan bagaimana …

17 neural-networks 

Saya telah bekerja di bawah keyakinan bahwa median sampel adalah ukuran yang lebih kuat dari kecenderungan sentral daripada rata-rata sampel, karena mengabaikan outlier. Karena itu saya terkejut mengetahui (dalam jawaban untuk pertanyaan lain ) bahwa untuk sampel yang diambil dari distribusi normal, varians dari mean sampel kurang dari varians median …

17 distributions  median  intuition  mean  efficiency 

Saya mengepos ulang "jawaban" untuk pertanyaan yang saya berikan sekitar dua minggu yang lalu di sini: Mengapa Jeffrey dulu bermanfaat? Itu benar-benar sebuah pertanyaan (dan saya juga tidak punya hak untuk mengirim komentar pada saat itu), jadi saya harap tidak apa-apa untuk melakukan ini: Dalam tautan di atas dibahas bahwa …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

Mengapa "deret waktu" disebut seperti itu? Seri berarti jumlah suatu urutan. Mengapa seri waktu, bukan urutan waktu? Apakah waktu merupakan variabel independen?

17 time-series  self-study  references  terminology 

Saya memiliki empat variabel bebas terdistribusi seragam , masing-masing dalam . Saya ingin menghitung distribusi . Saya menghitung distribusi menjadi (maka ), dan dari menjadi Sekarang, distribusi jumlah u_1 + u_2 adalah ( u_1, \, u_2 juga independen) f_ {u_1 + u_2} (x) = \ int _ {- \ infty} …

17 distributions  random-variable  pdf  uniform  mathematica 

Saya membaca pembenaran berikut (dari catatan kursus cs229) tentang mengapa kami membagi data mentah dengan standar menyimpang: Meskipun saya mengerti apa yang dikatakan penjelasan, tidak jelas bagi saya mengapa membagi dengan standar deviasi akan mencapai tujuan seperti itu. Dikatakan agar setiap orang lebih pada "skala" yang sama. Namun, itu tidak …

17 machine-learning  pca  mathematical-statistics 

Menurut ini artikel wikipedia , satu dapat mewakili produk probabilitas x⋅ysebagai -log(x) - log(y)membuat perhitungan lebih komputasi optimal. Tetapi jika saya mencoba sebuah contoh katakanlah: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 = 0.1 p4 = 0.1 p3 * p4 …

17 probability  logarithm  arithmetic 

Saya telah memperhatikan bahwa banyak paket paket dan tema "canggih" dan banyak orang yang menggunakan data latar belakang abu-abu untuk plot mereka. Berikut ini beberapa contoh: ggplot2: Fivethirtyeight.com Nate Silver: Sementara dalam contoh pertama di atas (ggplot2), orang mungkin berpendapat bahwa menggunakan latar belakang abu-abu mengurangi tinta yang diperlukan untuk …

17 data-visualization  ggplot2