Pertanyaan yang diberi tag «maximum-entropy»

Saya tahu bahwa entropi adalah ukuran keacakan dari suatu proses / variabel dan dapat didefinisikan sebagai berikut. untuk variabel acak set : - . Dalam buku tentang Entropi dan Teori Informasi oleh MacKay, ia memberikan pernyataan ini dalam Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) Entropi dimaksimalkan jika p …

32 uniform  entropy  maximum-entropy 

Dalam makalah ini , peneliti berbakat Cosma Shalizi berpendapat bahwa untuk sepenuhnya menerima pandangan Bayesian yang subjektif, kita juga harus menerima hasil yang tidak fisik bahwa panah waktu (diberikan oleh aliran entropi) harus benar-benar mundur . Ini terutama merupakan upaya untuk berdebat dengan entropi maksimum / pandangan subjektif sepenuhnya yang …

31 bayesian  entropy  maximum-entropy  philosophical 

Saya telah menggunakan prinsip entropi maksimum untuk membenarkan penggunaan beberapa distribusi di berbagai pengaturan; akan tetapi, saya belum dapat merumuskan interpretasi statistik, sebagai lawan dari teori informasi, dari entropi maksimum. Dengan kata lain, apa yang memaksimumkan entropi menyiratkan tentang sifat statistik distribusi? Adakah yang bertemu atau mungkin menemukan diri Anda …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Saya telah menggunakan distribusi log normal sebagai distribusi sebelumnya untuk parameter skala (untuk distribusi normal, distribusi t, dll.) Ketika saya memiliki gagasan kasar tentang apa skala seharusnya, tetapi ingin berbuat salah di sisi mengatakan saya tidak tahu banyak tentang itu. Saya menggunakannya karena penggunaan itu masuk akal bagi saya, tetapi …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Untuk variabel acak kontinu acak, katakanlah XXX , apakah entropi diferensialnya selalu kurang dari ∞∞\infty ? (Tidak apa-apa jika −∞−∞-\infty .) Jika tidak, kondisi apa yang perlu dan cukup untuk kurang dari ∞∞\infty ?

14 entropy  information-theory  maximum-entropy 

Saya mencoba untuk mendapatkan kepala saya di sekitar bukti berikut bahwa Gaussian memiliki entropi maksimum. Bagaimana langkah berbintang itu masuk akal? Sebuah kovarians khusus hanya memperbaiki momen kedua. Apa yang terjadi pada momen ketiga, keempat, kelima dll?

13 entropy  information-theory  maximum-entropy 

Berapakah distribusi entropi maksimum untuk variabel kontinu positif, mengingat momen pertama dan kedua? Sebagai contoh, distribusi Gaussian adalah distribusi entropi maksimum untuk variabel yang tidak terikat, mengingat mean dan standar deviasinya, dan distribusi Gamma adalah distribusi entropi maksimum untuk variabel positif, dengan nilai rata-rata dan nilai rata-rata logaritma-nya.

13 distributions  standard-deviation  mean  maximum-entropy 

Pertanyaannya: Bootstrapping lebih unggul daripada jackknifing; Namun, saya bertanya-tanya apakah ada contoh di mana jackknifing adalah satu-satunya atau setidaknya pilihan yang layak untuk mengkarakterisasi ketidakpastian dari estimasi parameter. Juga, dalam situasi praktis bagaimana bias / tidak akurat jackknifing relatif terhadap bootstrap, dan bisakah hasil jackknife memberikan wawasan awal sebelum bootstrap …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Biarkan menjadi distribusi gabungan dari dua variabel kategori , dengan . Katakanlah sampel diambil dari distribusi ini, tetapi kami hanya diberi jumlah marginal, yaitu untuk : X , Y x , y ∈ { 1 , ... , K } n j = 1 , ... , Kpx,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

Salah satu masalah penting yang dihadapi oleh peramal adalah apakah seri yang diberikan dapat diperkirakan atau tidak? Saya menemukan sebuah artikel berjudul " Entropi sebagai Indikator A Priori dari Kemampuan Prakiraan " oleh Peter Catt yang menggunakan Perkiraan Entropi (ApEn) sebagai ukuran relatif untuk menentukan seri waktu tertentu yang dapat …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Saya membaca diskusi di Hacker News tentang penggunaan standar deviasi yang bertentangan dengan metrik lain seperti rata-rata deviasi absolut. Jadi, jika kita mengikuti prinsip entropi maksimum, distribusi seperti apa yang akan kita gunakan jika kita hanya tahu mean distribusi dan mean penyimpangan absolut? Atau apakah lebih masuk akal untuk menggunakan …

10 distributions  maximum-entropy  mad 

Pertanyaan pendek: Mengapa ini benar ?? Pertanyaan panjang: Sederhananya, saya mencoba mencari tahu apa yang membenarkan persamaan pertama ini. Penulis buku yang saya baca, (konteks di sini jika Anda menginginkannya, tetapi tidak perlu), mengklaim sebagai berikut: Karena asumsi near-gaussianity, kita dapat menulis: p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ))p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ)) p_0(\xi) = A \; \phi(\xi) \; exp( …

9 probability  normal-distribution  entropy  maximum-entropy 

Saya tertarik dengan konsep Maximum Entropy Markov Model (MEMM), dan saya berpikir untuk menggunakannya untuk tagger Part of Speech (POS). Saat ini, saya menggunakan classifier Maximum Entropy (ME) konvensional untuk menandai setiap kata. Ini menggunakan sejumlah fitur, termasuk dua tag sebelumnya. MEMM menggunakan algoritma Viterbi untuk menemukan jalur optimal melalui …

9 machine-learning  mcmc  maximum-entropy  memm 

Umumnya ada banyak distribusi gabungan konsisten dengan set distribusi marginal yang diketahui .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) Dari distribusi gabungan ini, apakah produk dibentuk dengan mengambil produk dari marginal yang dengan entropi tertinggi?∏ifi(xi)∏ifi(xi)\prod_i f_i(x_i) Saya yakin ini benar, tetapi saya sangat …

9 distributions  joint-distribution  marginal  maximum-entropy 

Baru-baru ini saya berdiskusi singkat dengan seorang teman yang berpengetahuan luas yang menyebutkan bahwa SVM adalah batas suhu nol dari regresi logistik. Alasannya melibatkan polytopes marginal dan dualitas fenchel. Saya tidak bisa mengikuti. Apakah pernyataan tentang SVM ini sebagai batas suhu nol dari regresi logistik benar? Dan jika demikian, dapatkah …

8 logistic  svm  graphical-model  exponential-family  maximum-entropy