python - tf.estimator.Estimator.evaluate() 是否总是在一个 GPU 上运行？-6ren

python - tf.estimator.Estimator.evaluate() 是否总是在一个 GPU 上运行？

转载作者：太空宇宙更新时间：2023-11-04 07:53:21

26

4

我的印象是在 tf.estimator.Estimator 实例上调用 evaluate() 不会在多个 GPU 上运行模型，即使分配策略是 MirroredStrategy，配置为至少使用 2 个 GPU。

这是一个建议这种行为的示例脚本:https://gist.github.com/patzm/b69fcdf33fc9062683d749d0ea936b5e

这是显示此行为的 nvidia-smi 的屏幕截图:

如果 evaluate() 应该运行，如果像上面那样在多个 GPU 上使用，请在您的回答中突出显示我的错误。

最佳答案

在您的RunConfig 中，将策略也设置为eval_distribute，详情请参阅this

run_config = tf.estimator.RunConfig(
    model_dir=tf.test.get_temp_dir(),
    session_config=tf.ConfigProto(allow_soft_placement=True),
    train_distribute=distribution_strategy,
    eval_distribute=distribution_strategy
)

关于python - tf.estimator.Estimator.evaluate() 是否总是在一个 GPU 上运行？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52097928/

26

4

0

文章推荐：计算数字在二维数组 C 中出现的次数

文章推荐： c - 重新分配内存拦截

文章推荐：在 C 中创建从 getline() 读取的单词的 char**

Tensorflow - 为什么 tf.nn 和 tf.layers/tf.losses/tf.contrib.layers 等中有这么多相似甚至重复的函数？
在 Tensorflow(从 v1.2.1 开始)中，似乎有(至少)两个并行 API 来构建计算图。 tf.nn 中有函数，如 conv2d、avg_pool、relu、dropout，tf.laye
python - tf.reduce_sum(lastconv,axis=2)/tf.reduce_sum(tf.cast(tf.greater(lastconv, 0), tf.float32), axis=2) 用于代替均值池？
我正在处理眼睛轨迹数据和卷积神经网络。我被要求使用 tf.reduce_max(lastconv, axis=2)代替 MaxPooling 层和 tf.reduce_sum(lastconv,axi
python - 什么时候应该使用 tf.train.BytesList、tf.train.FloatList 和 tf.train.Int64List 将数据存储在 tf.train.Feature 中？
TensorFlow 提供了 3 种不同的数据存储格式 tf.train.Feature .它们是: tf.train.BytesList tf.train.FloatList tf.train.In
python - tf.contrib.layer.fully_connected、tf.layers.dense、tf.contrib.slim.fully_connected、tf.keras.layers.Dense 之间的不一致
我正在尝试为上下文强盗问题 (https://medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part
python - 如何将 tf.layers 变量放入 tf.name_scope/tf.variable_scope 中？
我在使用 Tensorflow 时遇到问题: 以下代码为卷积 block 生成正确的图: def conv_layer(self, inputs, filter_size = 3, num_filte
python - TF 2.0 中的 tf.GradientTape 是否等同于 tf.gradients？
我正在将我的训练循环迁移到 Tensorflow 2.0 API .在急切执行模式下，tf.GradientTape替换 tf.gradients .问题是，它们是否具有相同的功能？具体来说: 在函数
python - tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS)) 在 tensorflow 中
tensorflow 中 tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS)) 的目的是什么？更多上下文:
tensorflow - tf.square、tf.math.square 和 tf.keras.backend.square 之间有什么区别？
我一直在努力学习 TensorFlow，我注意到不同的函数用于相同的目标。例如，为了平方变量，我看到了 tf.square()、tf.math.square() 和 tf.keras.backend.
tensorflow - tf.data 或 tf.keras.utils.Sequence。提高 tf.data 的效率？
我正在尝试使用自动编码器开发图像着色器。有 13000 张训练图像。如果我使用 tf.data，每个 epoch 大约需要 45 分钟，如果我使用 tf.utils.keras.Sequence 大约
logging - tensorflow log_softmax tf.nn.log(tf.nn.softmax(predict)) tf.nn.softmax_cross_entropy_with_logits
我尝试按照 tensorflow 教程实现 MNIST CNN 神经网络，并找到这些实现 softmax 交叉熵的方法给出了不同的结果: (1) 不好的结果 softmax = tf.nn.softm
python - `tf.reshape(a, [m, n])` 和 `tf.transpose(tf.reshape(a, [n, m]))` 之间的区别？
其实，我正在coursera上做deeplearning.ai的作业“Art Generation with Neural Style Transfer”。在函数 compute_layer_styl
python - 为什么 tf.cond() 将 tf.bool 识别为 python bool 而不是 tf.bool？
训练神经网络学习“异或” 我正在尝试使用“批量归一化”，我创建了一个批量归一化层函数“batch_norm1”。 import tensorflow as tf import nump
python - Tensorflow:在使用 tf.Keras 层或 tf.Estimator API 时，何时需要运行 tf.Session()？
我正在尝试协调来自 TF“图形和 session ”指南以及 TF“Keras”指南和 TF Estimators 指南的信息。现在在前者中它说 tf.Session 使计算图能够访问物理硬件以执行图
python - Tensorflow softmax_cross_entropy_with_logits 与 tf.reduce_mean(-tf.reduce_sum(y*tf.log(yhat), reduction_indices = 1))
我正在关注此处的多层感知器示例:https://github.com/aymericdamien/TensorFlow-Examples我对函数 tf.nn.softmax_cross_entropy
python - TensorFlow 2.0 : how to group graph using tf. 喀拉斯？ tf.name_scope/tf.variable_scope 不再使用了吗？
回到 TensorFlow = 2.0 中消失了。因此，像这样的解决方案...... with tf.variable_scope("foo"): with tf.variable_scope
python - [python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))"] 是做什么的？
我按照官方网站中的步骤安装了tensorflow。但是，在该网站中，作为安装的最后一步，他们给出了一行代码来“验证安装”。但他们没有告诉这段代码会给出什么输出。该行是: python -c "imp
python - 为什么 tf.matmul(a,b, transpose_b=True) 有效，但 tf.matmul(a, tf.transpose(b)) 无效？
代码: x = tf.constant([1.,2.,3.], shape = (3,2,4)) y = tf.constant([1.,2.,3.], shape = (3,21,4)) tf.ma
python - TypeError : Only integers, slices (`:` ), ellipsis (`…` ), tf.newaxis (`None` ) 和标量 tf.int32/tf.int64 张量是有效的索引，得到 [1, 3]
我正在尝试从 Github 训练一个 3D 分割网络.我的模型是用 Keras (Python) 实现的，这是一个典型的 U-Net 模型。模型，总结如下， Model: "functional_3"
tensorflow - 在 TF 操作中评估 TF 模型会引发错误
我正在使用 TensorFlow 2。我正在尝试优化一个函数，该函数使用经过训练的 tensorflow 模型(毒药)的损失。 @tf.function def totalloss(x): x
python - tf.zeros() 是否返回 tf.get_variable()？
试图了解 keras 优化器中的 SGD 优化代码 (source code)。在 get_updates 模块中，我们有: # momentum shapes = [K.int_shape(p) f

首页

博学

6Ren·AI

商城

python - tf.estimator.Estimator.evaluate() 是否总是在一个 GPU 上运行？