Pertanyaan yang diberi tag «derivative»

Saya mencoba memahami bagaimana backpropagation bekerja untuk lapisan output softmax / cross-entropy. Fungsi kesalahan lintas entropi adalah E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j dengan ttt dan ooo sebagai target dan output pada neuron jjj , masing-masing. Jumlahnya adalah di atas setiap neuron di lapisan output. ojojo_j itu sendiri merupakan hasil dari fungsi …

40 backpropagation  derivative  softmax  cross-entropy 

Saya sedang melakukan kursus Machine Learning Stanford di Coursera. Dalam bab tentang Regresi Logistik, fungsi biaya adalah sebagai berikut: Kemudian, diturunkan di sini: Saya mencoba mendapatkan turunan dari fungsi biaya tetapi saya mendapatkan sesuatu yang sama sekali berbeda. Bagaimana derivatif diperoleh? Apa langkah perantara?

29 regression  logistic  gradient-descent  derivative 

Tidak yakin apakah pertanyaan ini ada di sini, tetapi terkait erat dengan metode gradien dalam pengoptimalan, yang tampaknya menjadi topik di sini. Bagaimanapun, jangan ragu untuk bermigrasi jika Anda pikir beberapa komunitas lain memiliki keahlian yang lebih baik dalam topik ini. Singkatnya, saya mencari contoh selangkah demi selangkah dari diferensiasi …

27 optimization  derivative  tensorflow  automatic-differentiation 

Dalam pengenalan pola buku dan pembelajaran mesin (rumus 1.27), itu memberi di manax=g(y),px(x)adalah pdf yang sesuai denganpy(y)py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) |x=g(y)x=g(y)x=g(y)px(x)px(x)p_x(x)py(y)py(y)p_y(y) sehubungan dengan perubahan variabel. Buku-buku mengatakan itu karena pengamatan jatuh dalam kisaran akan, untuk nilai-nilai kecil δ x , ditransformasikan menjadi kisaran ( …

15 machine-learning  probability  self-study  derivative  jacobian 

Saya memiliki dataset yang berisi, katakanlah, beberapa pengukuran untuk posisi, kecepatan dan akselerasi. Semua berasal dari "lari" yang sama. Saya bisa membangun sistem linier dan sesuai polinomial untuk semua pengukuran itu. Tetapi bisakah saya melakukan hal yang sama dengan splines? Apa cara 'R' dalam melakukan ini? Berikut adalah beberapa data …

14 r  model  fitting  splines  derivative 

Saya percaya bahwa turunan dari proses Gaussian (GP) adalah GP lain, dan jadi saya ingin tahu apakah ada persamaan bentuk tertutup untuk persamaan prediksi turunan dari GP? Secara khusus, saya menggunakan kernel kovarian eksponensial kuadrat (juga disebut Gaussian) dan ingin tahu tentang membuat prediksi tentang turunan dari proses Gaussian.

12 stochastic-processes  gaussian-process  derivative 

Dalam buku Goodfellow (2016) tentang pembelajaran yang mendalam, ia berbicara tentang kesetaraan dari berhenti dini untuk regularisasi L2 ( https://www.deeplearningbook.org/contents/regularization.html halaman 247). Perkiraan kuadrat dari fungsi biaya jjj diberikan oleh: J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) HHHf(w+ϵ)=f(w)+f′(w)⋅ϵ+12f′′(w)⋅ϵ2f(w+ϵ)=f(w)+f′(w)⋅ϵ+12f″(w)⋅ϵ2f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2

11 neural-networks  deep-learning  loss-functions  derivative 

Saya telah melihat di beberapa titik penggunaan turunan Radon-Nikodym dari satu ukuran probabilitas terhadap yang lain, terutama dalam divergensi Kullback-Leibler, di mana itu adalah turunan dari ukuran probabilitas model untuk beberapa parameter arbitrer sehubungan dengan parameter nyata :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Di mana ini adalah kedua ukuran probabilitas pada ruang …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Dalam kursus pembelajaran mesin Andrew Ng, ia menggunakan rumus ini: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T dan dia melakukan bukti cepat yang ditunjukkan di bawah ini: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T …

10 machine-learning  matrix  derivative 

Saya mengerti bahwa neural networks (NNs) dapat dianggap sebagai aproksimator universal untuk kedua fungsi dan turunannya, berdasarkan asumsi tertentu (baik pada jaringan dan fungsi untuk perkiraan). Bahkan, saya telah melakukan sejumlah tes pada fungsi-fungsi sederhana, namun tidak sepele (misalnya, polinomial), dan tampaknya saya memang bisa memperkirakannya dan turunan pertamanya dengan …

10 machine-learning  neural-networks  function  derivative 

Saya telah mencoba membuat program untuk melatih Neural Networks di komputer saya. Untuk Jaringan yang dimaksud, saya telah memutuskan untuk menggunakan fungsi Cross Entropy Error: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Di mana adalah output target untuk Neuron , dan adalah output dari neuron itu, mencoba untuk memprediksi .tjtjt_jjjjojojo_jtjtjt_j Saya ingin tahu …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Cukup banyak referensi (termasuk wikipedia, dan http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf dan http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) mendefinisikan turunan dari suatu fungsi oleh vektor sebagai turunan parsial dari fungsi yang diatur dalam satu baris (jadi turunan dari fungsi yang dinilai skalar adalah vektor baris). Dalam konvensi ini, gradien dan turunan vektor adalah transpos satu sama lain. Manfaat …

9 linear-algebra  derivative