Perbedaan antara Variabel dan get_variable di TensorFlow

Sejauh yang saya tahu, Variableadalah operasi default untuk membuat variabel, dan get_variableterutama digunakan untuk berbagi bobot.

Di satu sisi, ada beberapa orang yang menyarankan untuk menggunakan get_variablealih-alih Variableoperasi primitif setiap kali Anda membutuhkan variabel. Di sisi lain, saya hanya melihat penggunaan get_variabledalam dokumen dan demo resmi TensorFlow.

Oleh karena itu, saya ingin mengetahui beberapa aturan praktis tentang cara menggunakan kedua mekanisme ini dengan benar. Apakah ada prinsip "standar"?

Saya akan merekomendasikan untuk selalu menggunakan tf.get_variable(...)- ini akan mempermudah refactor kode Anda jika Anda perlu berbagi variabel kapan saja, misalnya dalam pengaturan multi-gpu (lihat contoh CIFAR multi-gpu). Tidak ada sisi negatifnya.

Murni tf.Variableadalah tingkat yang lebih rendah; di beberapa titik tf.get_variable()tidak ada sehingga beberapa kode masih menggunakan cara tingkat rendah.

tf.Variable adalah kelas, dan ada beberapa cara untuk membuat tf.Variable termasuk tf.Variable.__init__dan tf.get_variable.

tf.Variable.__init__: Membuat variabel baru dengan nilai_awal .

W = tf.Variable(<initial-value>, name=<optional-name>)

tf.get_variable: Mendapat variabel yang ada dengan parameter ini atau membuat yang baru. Anda juga bisa menggunakan penginisialisasi.

W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None,
       regularizer=None, trainable=True, collections=None)

Sangat berguna untuk menggunakan penginisialisasi seperti xavier_initializer:

W = tf.get_variable("W", shape=[784, 256],
       initializer=tf.contrib.layers.xavier_initializer())

Informasi lebih lanjut di sini .

Saya dapat menemukan dua perbedaan utama antara yang satu dan yang lainnya:

1. Pertama adalah tf.Variableselalu membuat variabel baru, sedangkan tf.get_variablemendapatkan variabel yang sudah ada dengan parameter tertentu dari grafik, dan jika tidak ada, membuat variabel baru.

2. tf.Variable membutuhkan nilai awal yang ditentukan.

Penting untuk mengklarifikasi bahwa fungsi tersebut tf.get_variablemengawali nama dengan cakupan variabel saat ini untuk melakukan pemeriksaan penggunaan kembali. Sebagai contoh:

with tf.variable_scope("one"):
    a = tf.get_variable("v", [1]) #a.name == "one/v:0"
with tf.variable_scope("one"):
    b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists
with tf.variable_scope("one", reuse = True):
    c = tf.get_variable("v", [1]) #c.name == "one/v:0"

with tf.variable_scope("two"):
    d = tf.get_variable("v", [1]) #d.name == "two/v:0"
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0"

assert(a is c)  #Assertion is true, they refer to the same object.
assert(a is d)  #AssertionError: they are different objects
assert(d is e)  #AssertionError: they are different objects

Kesalahan pernyataan terakhir menarik: Dua variabel dengan nama yang sama di bawah lingkup yang sama seharusnya merupakan variabel yang sama. Tetapi jika Anda menguji nama variabel ddan eAnda akan menyadari bahwa Tensorflow mengubah nama variabel e:

d.name   #d.name == "two/v:0"
e.name   #e.name == "two/v_1:0"

Perbedaan lainnya terletak pada yang satu dalam hal ('variable_store',)koleksi tetapi yang lainnya tidak.

Silakan lihat kode sumbernya :

def _get_default_variable_store():
  store = ops.get_collection(_VARSTORE_KEY)
  if store:
    return store[0]
  store = _VariableStore()
  ops.add_to_collection(_VARSTORE_KEY, store)
  return store

Izinkan saya mengilustrasikan bahwa:

import tensorflow as tf
from tensorflow.python.framework import ops

embedding_1 = tf.Variable(tf.constant(1.0, shape=[30522, 1024]), name="word_embeddings_1", dtype=tf.float32) 
embedding_2 = tf.get_variable("word_embeddings_2", shape=[30522, 1024])

graph = tf.get_default_graph()
collections = graph.collections

for c in collections:
    stores = ops.get_collection(c)
    print('collection %s: ' % str(c))
    for k, store in enumerate(stores):
        try:
            print('\t%d: %s' % (k, str(store._vars)))
        except:
            print('\t%d: %s' % (k, str(store)))
    print('')

Hasil:

collection ('__variable_store',): 0: {'word_embeddings_2': <tf.Variable 'word_embeddings_2:0' shape=(30522, 1024) dtype=float32_ref>}