Tensorflow'da bir ağı birden çok GPU'ya bölmek mümkün mü?

Question

Çok büyük tekrarlayan bir ağ (örneğin, 2048x5) çalıştırmayı planlıyorum, tensorflow'da bir GPU'da bir katman tanımlamak mümkün mü? En iyi verimi elde etmek için modeli nasıl kullanmalıyım? GPU veya GPU-CPU-GPU iletişimi için genel bir yük olduğunu anlıyorum.

Answer 1

TensorFlow'da çok sayıda GPU'ya büyük bir model ayırmak kesinlikle mümkündür, ancak bunu en iyi şekilde yapmak zor bir araştırma sorusudur. Farklı GPU'ları adlandırma, bir with tf.device(...): blokta kodunuzun

1. Wrap büyük bitişik bölgeler:: Genel olarak, aşağıdakileri yapmanız gerekir

   with tf.device("/gpu:0"): 
       # Define first layer. 
   
   with tf.device("/gpu:1"): 
       # Define second layer. 
   
   # Define other layers, etc. 
   

2. senin optimizer bina, pas optimizer.minimize() yönteme bağlı bir bağımsız değişken colocate_gradients_with_ops=True:

   loss = ... 
   optimizer = tf.train.AdaGradOptimizer(0.01) 
   train_op = optimizer.minimize(loss, colocate_gradients_with_ops=True) 
   

3. için t gerekebilir (isteğe bağlı olarak).

   [buradan]

   config = tf.ConfigProto(allow_soft_placement=True) 
   sess = tf.Session(config=config)