Memahami unit LSTM vs. sel

Saya telah mempelajari LSTM untuk sementara waktu. Saya mengerti pada tingkat tinggi bagaimana semuanya bekerja. Namun, akan mengimplementasikannya menggunakan Tensorflow saya perhatikan bahwa BasicLSTMCell memerlukan sejumlah unit (yaitu num_units) parameter.

Dari ini penjelasan yang sangat menyeluruh LSTMs, saya sudah mengumpulkan bahwa satu satuan LSTM adalah salah satu dari berikut ini

yang sebenarnya merupakan unit GRU.

Saya berasumsi bahwa parameter num_unitsdari BasicLSTMCellmengacu pada berapa banyak dari kita ingin menghubungkan satu sama lain dalam sebuah layer.

Itu meninggalkan pertanyaan - apa itu "sel" dalam konteks ini? Apakah "sel" setara dengan lapisan dalam jaringan saraf umpan-maju normal?

Terminologi ini sayangnya tidak konsisten. num_unitsdi TensorFlow adalah sejumlah negara yang tersembunyi, yaitu dimensi dalam persamaan yang Anda berikan.$h_t$

Juga, dari https://github.com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/api_docs/python/functions_and_classes/shard9/tf.nn.rnn_cell.RNNCell.md :

Definisi sel dalam paket ini berbeda dari definisi yang digunakan dalam literatur. Dalam literatur, sel mengacu pada objek dengan output skalar tunggal. Definisi dalam paket ini mengacu pada array horizontal dari unit-unit tersebut.

"Lapisan LSTM" mungkin lebih eksplisit, contoh :

def lstm_layer(tparams, state_below, options, prefix='lstm', mask=None):
    nsteps = state_below.shape[0]
    if state_below.ndim == 3:
        n_samples = state_below.shape[1]
    else:
        n_samples = 1

    assert mask is not None
    […]

Kebanyakan diagram LSTM / RNN hanya menunjukkan sel-sel yang tersembunyi tetapi tidak pernah unit dari sel-sel itu. Karena itu, kebingungan. Setiap lapisan tersembunyi memiliki sel tersembunyi, sebanyak jumlah langkah waktu. Dan selanjutnya, setiap sel tersembunyi terdiri dari beberapa unit tersembunyi, seperti pada diagram di bawah ini. Oleh karena itu, dimensi matriks lapisan tersembunyi di RNN adalah (jumlah langkah waktu, jumlah unit tersembunyi).

Meskipun masalah ini hampir sama dengan yang saya jawab dalam jawaban ini , saya ingin menggambarkan masalah ini, yang juga sedikit membingungkan saya hari ini dalam model seq2seq (terima kasih atas jawaban @Franck Dernoncourt), dalam grafik. Dalam diagram enkode sederhana ini:

$h_i$

Menurut pendapat saya, sel berarti simpul seperti sel tersembunyi yang juga disebut simpul tersembunyi, untuk model LSTM multilayer, jumlah sel dapat dihitung dengan time_steps * num_layers, dan num_units sama dengan time_steps

Unit-unit dalam Keras adalah dimensi ruang output, yang sama dengan panjang penundaan (time_step) jaringan yang berulang.

keras.layers.LSTM(units, activation='tanh', ....)

https://keras.io/layers/recurrent/