Apa perbedaan antara sparse_softmax_cross_entropy_with_logits dan softmax_cross_entropy_with_logits?

Saya baru-baru ini menemukan tf.nn.sparse_softmax_cross_entropy_with_logits dan saya tidak tahu apa perbedaannya dibandingkan dengan tf.nn.softmax_cross_entropy_with_logits .

Apakah satu-satunya perbedaan bahwa vektor pelatihan yharus dienkode dengan one-hot saat menggunakan sparse_softmax_cross_entropy_with_logits?

Membaca API, saya tidak dapat menemukan perbedaan lain apa pun dibandingkan softmax_cross_entropy_with_logits. Tapi mengapa kita membutuhkan fungsi ekstra?

Tidakkah seharusnya softmax_cross_entropy_with_logitsmenghasilkan hasil yang sama seperti sparse_softmax_cross_entropy_with_logits, jika dilengkapi dengan data pelatihan / vektor yang dienkode dengan one-hot?

Memiliki dua fungsi yang berbeda sangatlah mudah , karena keduanya menghasilkan hasil yang sama.

Perbedaannya sederhana:

• Sebab sparse_softmax_cross_entropy_with_logits, label harus memiliki bentuk [batch_size] dan dtype int32 atau int64. Setiap label adalah int dalam kisaran [0, num_classes-1].
• Sebab softmax_cross_entropy_with_logits, label harus memiliki bentuk [batch_size, num_classes] dan dtype float32 atau float64.

Label yang digunakan softmax_cross_entropy_with_logitsadalah salah satu versi terbaru dari label yang digunakan sparse_softmax_cross_entropy_with_logits.

Perbedaan kecil lainnya adalah dengan sparse_softmax_cross_entropy_with_logits, Anda dapat memberi -1 sebagai label untuk kehilangan 0label ini.

Saya hanya ingin menambahkan 2 hal pada jawaban yang diterima yang juga dapat Anda temukan di dokumentasi TF.

Pertama:

tf.nn.softmax_cross_entropy_with_logits

CATATAN: Meskipun kelas saling eksklusif, probabilitasnya tidak perlu. Semua yang diperlukan adalah setiap baris label adalah distribusi probabilitas yang valid. Jika tidak, perhitungan gradien akan salah.

Kedua:

tf.nn.sparse_softmax_cross_entropy_with_logits

CATATAN: Untuk operasi ini, probabilitas label yang diberikan dianggap eksklusif. Artinya, kelas lunak tidak diperbolehkan, dan vektor label harus memberikan indeks spesifik tunggal untuk kelas sebenarnya untuk setiap baris logit (setiap entri minibatch).

Kedua fungsi tersebut menghitung hasil yang sama dan sparse_softmax_cross_entropy_with_logits menghitung entropi silang secara langsung pada label renggang alih-alih mengonversinya dengan enkode one-hot .

Anda dapat memverifikasi ini dengan menjalankan program berikut:

import tensorflow as tf
from random import randint

dims = 8
pos  = randint(0, dims - 1)

logits = tf.random_uniform([dims], maxval=3, dtype=tf.float32)
labels = tf.one_hot(pos, dims)

res1 = tf.nn.softmax_cross_entropy_with_logits(       logits=logits, labels=labels)
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.constant(pos))

with tf.Session() as sess:
    a, b = sess.run([res1, res2])
    print a, b
    print a == b

Di sini saya membuat logitsvektor acak dengan panjang dimsdan menghasilkan label yang dikodekan satu panas (di mana elemen di posadalah 1 dan lainnya adalah 0).

Setelah itu saya menghitung softmax dan sparse softmax dan membandingkan hasilnya. Coba jalankan ulang beberapa kali untuk memastikan selalu menghasilkan keluaran yang sama