Statistik dan Big Data

Dalam kursus pembelajaran mesin, saya belajar bahwa salah satu penggunaan umum PCA ( Principal Component Analysis ) adalah untuk mempercepat algoritma pembelajaran mesin lainnya. Misalnya, bayangkan Anda sedang melatih model regresi logistik. Jika Anda memiliki set pelatihan untuk saya dari 1 ke n dan ternyata dimensi vektor x Anda sangat …

12 machine-learning  pca 

Saya telah mempelajari regresi linear dan mencobanya pada set di bawah ini {(x, y)}, di mana x menentukan luas rumah dalam kaki persegi, dan y menentukan harga dalam dolar. Ini adalah contoh pertama dalam Catatan Andrew Ng . 2104.400 1600.330 2400.369 1416.232 3000,540 Saya mengembangkan kode sampel tetapi ketika saya …

12 regression  least-squares  gradient-descent  supervised-learning 

Dalam makalah yang memperkenalkan DQN " Bermain Atari dengan Deep Reinforcement Learning ", disebutkan: Perhatikan bahwa ketika belajar dengan replay pengalaman, perlu untuk belajar di luar kebijakan (karena parameter kami saat ini berbeda dengan yang digunakan untuk menghasilkan sampel), yang memotivasi pilihan Q-learning. Saya tidak begitu mengerti apa artinya itu. …

12 reinforcement-learning 

Berikut adalah masalah deviasi absolut terkecil yang terkait:. Saya tahu ini bisa diatur ulang sebagai masalah LP dengan cara berikut:argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n Tapi saya tidak punya ide untuk menyelesaikannya langkah demi langkah, karena …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

Saya semakin sering mendengar kata-kata ini ketika saya mempelajari pembelajaran mesin. Faktanya, beberapa orang telah memenangkan medali Fields dengan mengerjakan persamaan persamaan. Jadi, saya kira ini adalah istilah yang membawa dirinya dari fisika statistik / matematika ke pembelajaran mesin. Secara alami, sejumlah orang yang saya tanya tidak bisa menjelaskannya secara …

12 machine-learning  self-study  terminology  regularization  definition 

Apa perbedaan antara kuadrat terkecil dan regresi linier? Apakah ini sama?

12 regression  least-squares  terminology 

Pertimbangkan percobaan yang menghasilkan rasio antara 0 dan 1. Bagaimana rasio ini diperoleh seharusnya tidak relevan dalam konteks ini. Itu diuraikan dalam versi sebelumnya dari pertanyaan ini , tetapi dihapus untuk kejelasan setelah diskusi tentang meta .XsayaXiX_i Eksperimen ini diulangi kali, sedangkan kecil (sekitar 3-10). The diasumsikan independen dan terdistribusi …

12 confidence-interval 

Dalam bukunya Doing Bayesian Data Analysis, John Kruschke menyatakan bahwa dalam menggunakan JAGS dari R ... estimasi mode dari sampel MCMC bisa agak tidak stabil karena estimasi tersebut didasarkan pada algoritma perataan yang bisa peka terhadap benjolan dan riak acak dalam sampel MCMC. ( Melakukan Analisis Data Bayesian , halaman …

12 bayesian  mcmc  mode 

Saya menggunakan Orange Canvas dan saya menghasilkan plot pencar. Saya memiliki kemungkinan untuk jitter variabel kontinu tetapi saya benar-benar tidak tahu mengapa saya melakukan itu. Apa ide di balik jittering?

12 data-visualization  scatterplot 

Saya belajar menggunakan paket BTYD yang menggunakan model Pareto / NBD untuk memprediksi kapan pelanggan akan kembali. Namun, semua literatur pada model ini penuh dengan matematika dan tampaknya tidak ada penjelasan yang sederhana / konseptual tentang cara kerja model ini. Apakah mungkin untuk memahami model Pareto / NBD untuk non-ahli …

12 distributions  gamma-distribution  marketing  pareto 

Polinomial ortogonal dalam set titik univariat adalah polinomial yang menghasilkan nilai pada titik-titik tersebut dengan cara yang mana produk titiknya dan korelasi berpasangannya nol. R dapat menghasilkan polinomial ortogonal dengan fungsi poli . Fungsi yang sama memiliki varian polim yang menghasilkan polinomial ortogonal pada set titik multivariat. Bagaimanapun polinomial yang …

12 r  multiple-regression  polynomial  orthogonal 

Saya sudah sering mendengar ungkapan ini, tetapi tidak pernah sepenuhnya mengerti apa artinya. Ungkapan "properti frequentist yang baik" memiliki ~ 2.750 hits di google saat ini, 536 di scholar.google.com, dan 4 di stats.stackexchange.com . Hal terdekat yang saya temukan dengan definisi yang jelas berasal dari slide terakhir dalam presentasi Universitas …

12 bayesian  terminology  frequentist 

Bisakah setiap deret waktu non stasioner dikonversi menjadi deret waktu stasioner dengan menerapkan differencing? Juga, bagaimana Anda memutuskan urutan perbedaan yang akan diterapkan? Apakah Anda hanya berbeda dengan interval 1,2 ... n, dan melakukan tes root unit stasioner setiap kali untuk melihat apakah seri yang dihasilkan stasioner?

12 time-series  stationarity 

Saya memiliki lebih dari 3000 vektor pada kisi dua dimensi, dengan distribusi diskrit yang kurang lebih seragam. Beberapa pasang vektor memenuhi syarat tertentu. Catatan: ketentuan ini hanya berlaku untuk pasangan vektor, bukan untuk masing-masing vektor. Saya memiliki daftar sekitar 1500 pasangan tersebut, sebut saja grup 1. Grup 2 berisi semua …

12 statistical-significance  t-test  sample-size  spatial  distance 

Misalkan saya mempunyai adalah iid dan saya ingin melakukan tes hipotesis bahwa adalah 0. Misalkan saya memiliki n besar dan dapat menggunakan Teorema Limit Pusat. Saya juga bisa melakukan tes bahwa adalah 0, yang harus setara dengan pengujian bahwa adalah 0. Selanjutnya, menyatu dengan chi-squared, di mana menyatu menjadi normal. …

12 hypothesis-testing  convergence  delta-method