Tensorflow'un LSTM hücresi daha büyük bir grafiğin parçası olarak nasıl kullanılır?

Question

Yerleşik LSTM hücreleri size bir satırlık verir. Ancak, LSTM katmanlarından önce ve sonra statik katmanlar eklemek ve her şeyi backprop üzerinden eğitmek istiyorum. Mümkün mü?

Answer 1

hücre callable bir tf.Tensor gibi bir giriş tf.Tensor ve mevcut durumunu alır fonksiyonudur ve bir tf.Tensor gibi bir çıkış tf.Tensor ve yeni durumuna döner. Giriş/çıkış ve durum tensörleri hakkında özel bir şey yoktur: bunlar diğer TensorFlow işlemlerinden gelen girişler olarak hesaplanabilir ve/veya kullanılabilir. Örnek olarak

, ptb_word_lm.py modeli bak: Burada

for time_step in range(num_steps): 
    # ... 
    (cell_output, state) = cell(inputs[:, time_step, :], state) 
    outputs.append(cell_output) 

, inputs bir dilim LSTM bir hücre için giriş almak için alındığı bir 3-D tensörü ve state olduğu cell.zero_state() kullanılarak hesaplanan initially, daha sonra her yineleme yineleme önceki yineleme durumundan kullanır.

inputs tensörü, 'luk bir tf.nn.embedding_lookup() işlemidir; outputs listesi later concatenated'dir ve bir kayıp hesaplamasına girdi olarak kullanılır. TensorFlow, RNN ve gömülme aralığındaki kayıptan geri dönüp, model değişkenlerine geri dönüyor.