Tensorflow cifar同步点-6ren

Tensorflow cifar同步点

转载作者：行者123 更新时间：2023-12-03 00:36:58

25

4

阅读https://github.com/tensorflow/models/blob/master/tutorials/image/cifar10/cifar10_multi_gpu_train.py对于函数average_gradients，提供以下注释:请注意，此函数提供跨所有塔的同步点。函数average_gradients是阻塞调用吗？ 同步点是什么意思？

我假设这是一个阻塞调用，因为为了计算梯度的平均值，每个梯度必须单独计算？但是等待所有单独梯度计算的阻塞代码在哪里？

最佳答案

average_gradients其本身并不是阻塞函数。它可能是另一个具有 tensorflow 操作的函数，并且这仍然是一个同步点。使它阻塞的原因是它使用参数 tower_grads 这取决于之前 for 循环中创建的所有图表。

基本上，这里发生的是训练图的创建。首先，在for循环中for i in xrange(FLAGS.num_gpus)创建了多个图形“线程”。每个看起来像这样:

计算损失 --> 计算梯度 --> 附加到 tower_grads

每个图形“线程”都通过 with tf.device('/gpu:%d' % i) 分配给不同的 GPU。并且每个都可以彼此独立运行(并且稍后将并行运行)。现在下次tower_grads在没有设备规范的情况下使用，它会在主设备上创建一个图形延续，将所有这些单独的图形“线程”绑定(bind)到一个线程中。 Tensorflow 将确保作为 tower_grads 创建的一部分的每个图“线程”在运行 average_gradients 内的图表之前已完成功能。因此稍后当 sess.run([train_op, loss])被调用，这将是图的同步点。

关于Tensorflow cifar同步点，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43766223/

25

4

0

文章推荐： php - 如何隐藏实际的下载文件夹位置

文章推荐： tensorflow - 如何计算 tensorflow 中tfprof的触发器？

文章推荐： php - 检查字符串是否为 double

python - 使用 cifar 100 数据预训练 cifar 10 网络
为了进行微调，您将使用 CIFAR-100 数据集“bus”和“tiger”类的数据。你的任务是找出如何微调预训练的 CNN 模型，使用训练数据(我认为每个类 500 个图像)“bus”和“tiger
keras - 仅选择特定类别的 CIFAR-10
我想使用 CIFAR-10 数据集，但我只想要 Frog 、狗、猫、马和鸟类，到目前为止我已经使用了以下代码: # Plot ad hoc CIFAR10 instances from ker
python - CIFAR-10 无意义的归一化值
我尝试为 CIFAR-10 数据库构建神经网络。我使用了 Pytorch 框架。我有一个关于数据加载步骤的问题。 transform_train = T.Compose([ T.Random
python - 如何创建 Cifar-10 子集？
我想使用较少的训练数据样本来训练深度神经网络，以减少测试我的代码的时间。我想知道如何使用 Keras TensorFlow 对 Cifar-10 数据集进行子集化。我有以下代码用于训练 Cifar-1
python - 尝试为 CIFAR-10 创建一个完全连接的神经网络
在机器学习方面，我是一个相对初学者。我一直在使用 Keras 和 TensorFlow 作为后端，但由于某种原因，当我使用 CIFAR-10 数据集时，我没有获得很好的准确性。这是我的代码。 mo
machine-learning - CIFAR-10 上神经网络的训练误差可能最低
美好的一天! (或夜晚) CIFAR-10 数据集上的全连接神经网络训练集的误分类错误可以有多低(对于 < 30 个隐藏层)？是否有可能达到 0.001 或 0？你能告诉我你的经历吗？附注我想从
python - Tensorflow:Cifar-10 模型中的输出节点名称是什么？
我正在尝试了解 Tensorflow，并且看到了官方示例之一，即 Cifar-10 模型。在 cifar10.py ，在 inference() 中，您可以看到以下几行: with tf.varia
python - 创建与 cifar-10 数据集格式相同的数据集
我想创建一个与 cifar-10 数据集格式相同的数据集，以便与 Tensorflow 一起使用。它应该有图像和标签。基本上，我希望能够获取 cifar-10 代码，但具有不同的图像和标签，并运行该代
python - 为什么我的 CIFAR-10 字典键与它们应该的不同？
我试图在 python 中加载 CIFAR-10 数据集，但它显示的键的名称非常不正常。 dict.keys() 给出以下输出: dict_keys([b'labels', b'batch_label
python - TensorFlow 分布式运行时模型并行 CIFAR-10
我已尝试修改 CIFAR-10 示例以在新的 TensorFlow 分布式运行时上运行。但是，在尝试运行该程序时出现以下错误: InvalidArgumentError: Cannot assign
python - 从 cifar-10 数据集加载图像
我正在使用 cifar-10 数据集来训练我的分类器。我已经下载了数据集并尝试显示数据集中的图像。我使用了以下代码: from six.moves import cPickle as pickle f
python - Keras 在一类 Cifar-10 上过度拟合
为了让所有事情变得清楚，让我展示整个模型，这非常简单: from keras.datasets import cifar10 #much more libraries imported # simpl
machine-learning - 在 CIFAR-10 数据集上使用深度网络进行分类
我正在尝试使用深度学习技术构建一个分类器，并使用 cifar-10 数据集来构建一个分类器。我尝试构建一个具有 1024 个隐藏节点的分类器。每个图像的大小为 32*32*3(R-G-B)。由于我的计
python - 使用 cifar 100 的图像分类器，训练精度没有增加
我试图在 tensorflow 中使用 cifar100 数据集训练图像分类器模型，但准确率没有增加超过 1.2%。我用谷歌搜索了这个问题并找到了几种解决方案，但我的模型仍然表现不佳。我实现了一些步
machine-learning - 如何创建类似于 cifar-10 的数据集
关闭。这个问题需要多问focused 。目前不接受答案。想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 2 年前。 Improve this ques
python - 如何使用 cifar 在 Keras 中训练单层神经网络？
我想使用 cifar 数据集和 keras 框架训练单层神经网络。由于数据集的每个图像都是 32 x 32 x 3，所以我不太确定如何使用没有卷积的单层网络来处理图像。我认为将每个图像展平为形状为 N
python - Tensorflow 和 cifar 10，测试单个图像
我试图使用来自 tensorflow 的 cifar-10 预测单个图像的类别。我找到了这段代码，但是失败并出现了这个错误: 赋值要求两个张量的形状匹配。 lhs 形状= [18,384] rhs
python - 导入 CIFAR - 10 数据集到 R
我正在尝试下载 CIFAR-10 图像数据集； http://www.cs.toronto.edu/~kriz/cifar.html 在 R 中，但我似乎无法提取文件。我已经尝试了所有三种格式 .bi
python - TFLearn CovNet 示例导致使用 CIFAR-10 时出现错误
我正在尝试通过为 cifar 数据集构建分类器来熟悉神经网络。我决定从 tflearn 存储库中获取一个示例，但是我遇到了麻烦。有一些注意事项: 我正在使用 Jupyter Notebook 来测试
machine-learning - Keras 卷积网络在 CIFAR-10 数据集上得分较低
我正在尝试在 Keras 中的 CIFAR-10 数据集上训练 CNN，但只能获得 10% 左右的准确率，基本上是随机的。我正在训练超过 50 个 epoch，批量大小为 32，学习率为 0.01。我

首页

博学

6Ren·AI

商城

Tensorflow cifar同步点