Statistik dan Big Data

Saya menemukan pertanyaan wawancara: Ada kereta api merah yang datang setiap 10 menit. Ada kereta biru yang datang setiap 15 menit. Keduanya dimulai dari waktu acak sehingga Anda tidak memiliki jadwal. Jika Anda tiba di stasiun secara acak dan naik kereta apa pun yang datang lebih dulu, berapa waktu tunggu …

19 probability  random-variable  expected-value 

Jadi di sini saya sedang mempelajari inferensi. Saya ingin seseorang dapat menyebutkan keuntungan dari keluarga eksponensial. Oleh keluarga eksponensial, maksud saya distribusi yang diberikan sebagai f( x | θ ) = h ( x ) exp{ η( θ ) T( x ) - B ( θ ) }f(x|θ)=h(x)exp⁡{η(θ)T(x)−B(θ)}\begin{align*} f(x|\theta) = …

19 self-study  exponential-family 

Saya telah membaca laporan EIA dan plot ini menarik perhatian saya. Saya sekarang ingin dapat membuat jenis plot yang sama. Ini menunjukkan evolusi produktivitas energi antara dua tahun (1990-2015) dan menambahkan nilai perubahan antara dua periode ini. Apa nama plot jenis ini? Bagaimana saya bisa membuat plot yang sama (dengan …

19 data-visualization  terminology  excel 

Dari buku Forecasting: Principles and Practice oleh Rob J Hyndman dan George Athanasopoulos , khususnya bagian tentang pengukuran akurasi : Metode perkiraan yang meminimalkan MAE akan menghasilkan perkiraan median, sedangkan meminimalkan RMSE akan mengarah pada perkiraan rata-rata. Bisakah seseorang memberikan penjelasan intuitif mengapa meminimalkan MAE mengarah pada peramalan median dan …

19 forecasting  mean  median  rms  mae 

Pacar saya baru-baru ini mendapatkan pekerjaan melakukan penjualan dan perdagangan di bank besar. Didukung oleh pekerjaan barunya, dia percaya bahwa dia dapat memprediksi apakah stok akan naik atau turun pada akhir bulan lebih besar daripada peluang (dia percaya dia bahkan dapat melakukannya dengan akurasi 80%!) Saya sangat skeptis. Kami telah …

19 probability  forecasting  finance 

Regularisasi dalam regresi (linier, logistik ...) adalah cara paling populer untuk mengurangi pemasangan berlebihan. Ketika tujuannya adalah akurasi prediksi (tidak menjelaskan), apakah ada alternatif yang baik untuk regularisasi, terutama cocok untuk kumpulan data besar (mil / pengamatan pengamatan dan jutaan fitur)?

19 regression  regularization  overfitting 

Saya membaca buku Statistik (Freeman, Pisani, Purves) dan saya mencoba mereproduksi contoh di mana koin dilemparkan katakan 50 kali, jumlah kepala dihitung dan ini diulang katakan 1.000 kali. Pertama, saya menjaga jumlah lemparan (ukuran sampel) pada 1000 dan meningkatkan pengulangan. Semakin banyak pengulangan, semakin baik data sesuai dengan kurva normal. …

19 normal-distribution  central-limit-theorem  normal-approximation 

Saya ingin menguji hipotesis bahwa dua sampel diambil dari populasi yang sama, tanpa membuat asumsi tentang distribusi sampel atau populasi. Bagaimana saya harus melakukan ini? Dari Wikipedia kesan saya adalah bahwa tes Mann Whitney U harus sesuai, tetapi sepertinya tidak berhasil untuk saya dalam praktik. Untuk konkret saya telah membuat …

19 r  hypothesis-testing  nonparametric  wilcoxon-mann-whitney  wilcoxon-signed-rank 

Banyak sumber menyebutkan desain "box plot" klasik untuk John Tukey dan "plot skematis" -nya pada tahun 1970. Desainnya tampaknya tetap relatif statis sejak itu, dengan versi cut-down Edward Tufte dari plot kotak gagal untuk menangkap, sementara plot biola - meskipun varian yang lebih informatif dari plot kotak - tetap kurang …

19 data-visualization  references  boxplot  history 

Dari halaman Wikipedia yang berjudul korelasi tidak menyiratkan hubungan sebab akibat , Untuk dua peristiwa berkorelasi, A dan B, hubungan yang mungkin berbeda meliputi: A menyebabkan B (penyebab langsung); B menyebabkan A (penyebab terbalik); A dan B adalah konsekuensi dari penyebab umum, tetapi tidak menyebabkan satu sama lain; A dan …

19 correlation  causality 

Saya telah berusaha keras untuk memahami konsep pengambilan sampel negatif dalam konteks word2vec. Saya tidak dapat mencerna ide pengambilan sampel [negatif]. Misalnya dalam makalah Mikolov, harapan pengambilan sampel negatif dirumuskan sebagai catatanσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ P.D[ logσ( - ⟨ w , cN⟩ ) …

19 machine-learning  word2vec  word-embeddings 

Pertama, ia memberikan probabilitas hasil. Jadi, misalnya, prediksinya untuk pemilihan AS saat ini adalah 82% Clinton vs 18% Trump. Sekarang, bahkan jika Trump menang, bagaimana saya tahu bahwa itu bukan hanya 18% dari waktu yang seharusnya dia menangkan? Masalah lainnya adalah probabilitasnya berubah seiring waktu. Jadi pada 31 Juli, hampir …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Saya mencoba membangun multi-label classifier untuk menetapkan topik ke dokumen yang ada menggunakan scikit Saya sedang memproses dokumen saya melewati mereka melalui TfidfVectorizerlabel melalui MultiLabelBinarizerdan membuat OneVsRestClassifierdengan SGDClassifiersebagai penaksir. Namun ketika menguji classifier saya, saya hanya mendapatkan skor hingga 0,29 yang dari apa yang saya baca cukup rendah untuk masalah …

19 scikit-learn  multi-class  multilabel 

Ini pada dasarnya adalah replikasi dari pertanyaan yang saya temukan di math.se , yang tidak mendapatkan jawaban yang saya harapkan. Biarkan menjadi urutan variabel acak yang independen dan terdistribusi secara identik, dengan dan .{Xi}i∈N{Xi}i∈N\{ X_i \}_{i \in \mathbb{N}}E[Xi]=1E[Xi]=1\mathbb{E}[X_i] = 1V[Xi]=1V[Xi]=1\mathbb{V}[X_i] = 1 Pertimbangkan evaluasi limn→∞P(1n−−√∑i=1nXi≤n−−√)limn→∞P(1n∑i=1nXi≤n) \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n …

19 probability  mathematical-statistics  asymptotics 

Decision stump adalah pohon keputusan dengan hanya satu split. Ini juga dapat ditulis sebagai fungsi piecewise. Misalnya, anggap adalah vektor, dan adalah komponen pertama , dalam pengaturan regresi, beberapa tunggul keputusan dapatxxxx1x1x_1xxx f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases} Tetapi apakah ini model linier? …

19 machine-learning  cart  linear  boosting