tensorflow tf.train.batch之数据批量读取方式-6ren

tensorflow tf.train.batch之数据批量读取方式

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章tensorflow tf.train.batch之数据批量读取方式由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

在进行大量数据训练神经网络的时候，可能需要批量读取数据。于是参考了这篇文章的代码，结果发现数据一直批量循环输出，不会在数据的末尾自动停止.

然后发现这篇博文说slice_input_producer()这个函数有一个形参num_epochs，通过设置它的值就可以控制全部数据循环输出几次.

于是我设置之后出现以下的报错:

 
    ? 
   
 
     
       
       
         tensorflow.python.framework.errors_impl.FailedPreconditionError: Attempting to use uninitialized value input_producer 
         / 
         input_producer 
         / 
         limit_epochs 
         / 
         epochs 
        

            
        
 
               
         [[Node: input_producer 
         / 
         input_producer 
         / 
         limit_epochs 
         / 
         CountUpTo  
         = 
         CountUpTo[T 
         = 
         DT_INT64, _class 
         = 
         [ 
         "loc:@input_producer/input_producer/limit_epochs/epochs" 
         ], limit 
         = 
         2 
         , _device 
         = 
         "/job:localhost/replica:0/task:0/cpu:0" 
         ](input_producer 
         / 
         input_producer 
         / 
         limit_epochs 
         / 
         epochs)]] 
        
 
     
 
   

找了好久，都不知道为什么会错，于是只好去看看slice_input_producer()函数的源码，结果在源码中发现作者说这个num_epochs如果不是空的话，就是一个局部变量，需要先调用global_variables_initializer()函数初始化.

于是我调用了之后，一切就正常了，特此记录下来，希望其他人遇到的时候能够及时找到原因.

哈哈，这是笔者第一次通过阅读源码解决了问题，心情还是有点小激动。啊啊，扯远了，上最终成功的代码:

 
    ? 
   
         import 
         pandas as pd 
        
         import 
         numpy as np 
        
         import 
         tensorflow as tf 
        
         def 
         generate_data(): 
        
         num  
         = 
         25 
        
         label  
         = 
         np.asarray( 
         range 
         ( 
         0 
         , num)) 
        
         images  
         = 
         np.random.random([num,  
         5 
         ]) 
        
         print 
         ( 
         'label size :{}, image size {}' 
         . 
         format 
         (label.shape, images.shape)) 
        
         return 
         images,label 
        
         def 
         get_batch_data(): 
        
         label, images  
         = 
         generate_data() 
        
         input_queue  
         = 
         tf.train.slice_input_producer([images, label], shuffle 
         = 
         False 
         ,num_epochs 
         = 
         2 
         ) 
        
         image_batch, label_batch  
         = 
         tf.train.batch(input_queue, batch_size 
         = 
         5 
         , num_threads 
         = 
         1 
         , capacity 
         = 
         64 
         ,allow_smaller_final_batch 
         = 
         False 
         ) 
        
         return 
         image_batch,label_batch 
        
         images,label  
         = 
         get_batch_data() 
        
         sess  
         = 
         tf.Session() 
        
         sess.run(tf.global_variables_initializer()) 
        
         sess.run(tf.local_variables_initializer()) 
         #就是这一行 
        
         coord  
         = 
         tf.train.Coordinator() 
        
         threads  
         = 
         tf.train.start_queue_runners(sess,coord) 
        
         try 
         : 
        
         while 
         not 
         coord.should_stop(): 
        
         i,l  
         = 
         sess.run([images,label]) 
        
         print 
         (i) 
        
         print 
         (l) 
        
         except 
         tf.errors.OutOfRangeError: 
        
         print 
         ( 
         'Done training' 
         ) 
        
         finally 
         : 
        
         coord.request_stop() 
        
         coord.join(threads) 
        
         sess.close()

以上这篇tensorflow tf.train.batch之数据批量读取方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/liweibin1994/article/details/78306417 。

最后此篇关于tensorflow tf.train.batch之数据批量读取方式的文章就讲到这里了,如果你想了解更多关于tensorflow tf.train.batch之数据批量读取方式的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Python模块future用法原理详解

文章推荐： Python list运算操作代码实例解析

文章推荐： Python线程条件变量Condition原理解析

文章推荐： Tensorflow实现在训练好的模型上进行测试

spring-batch - Spring Batch 应用程序与 Spring Batch Admin 集成
我开发了一个 spring batch 应用程序，它使用批处理/shell 脚本部署为可执行 jar。它工作正常。最近我读到有关 spring batch admin 应用程序发布的信息。根据他们的
batch-file - 等待输入 BATCH
我想要的是一个 bat 文件来等待一定时间的输入。如果没有输入，我希望它转到 somethingidk。这是我目前所拥有的。 @echo off :START cls timeout 10 set
batch-file - Batch 无法正确计算方程
我最近尝试在不使用外部命令或工具的情况下批量编写一个程序来计算任何实数(而不是负数)的平方根，该程序基于可以在这里找到的算法:Link1 编辑:我修复了大部分问题，但仍然有一个我没有发现的轻微问题。
batch-file - Batch For循环排除包含以下内容的文件名
我有一个简单的批处理文件，它将遍历所有* Test.htm文件并进行复制。一些文件将包含我不想复制的字符串。 FOR /R "C:\" %%g IN (*Test.htm) DO ( echo %%
batch-file - Batch for 循环是否可以增加步长值？
这可能简短而有趣，但我只是在检查。批处理 for 命令可以有一个递增的步长值吗？ @echo off SetLocal EnableDelayedExpansion set xyz=200 for
batch-file - 文件路径中有空白空间的 Batch-Hell
目前我正处于批处理 hell 中。我想通过批处理文件调用我的 powershell 脚本。只要路径中没有空格，这就可以正常工作。例如，这是有效的 set DATAPATH="%~1
spring-batch - Spring Batch 单线程读取器和多线程写入器
试图找到以前是否有人问过这个问题，但找不到。问题来了。以下必须通过Spring批处理来实现有一个文件需要读取和处理。项目阅读器不是线程安全的。计划是让多线程同质处理器和多线程同质写入器插入由单线程读
spring-batch - 暂停和恢复作业执行 Spring Batch
这里有同样的问题- Spring batch pause/resume vs stop/restart 我在 Spring 检查了 BatchStatus 枚举，没有可用的状态 PAUSED，它仅作为
batch-file - for 循环后的条件 (Batch/CMD)
因此，我目前有这批使用 ffmpeg 将当前文件夹上的每个 .MTS 转换为 .MP4，但是当它完成后，我会在文件夹中同时获得 .mp4 和 .mts。我有 2 个批处理，一个用于转换文件，另一个用
spring-batch - Spring Batch 是不是有点矫枉过正
我需要每周一次将 CSV 加载到数据库中。由于 CSV 文件包含 2 个表的数据，因此需要进行一些数据处理。因此，我将不得不稍微处理一下 CSV 文件，可能会将其转换为 2 个不同的 CSV 文件并将
spring-batch - Spring Batch - 同时执行作业的多个实例
我有一个澄清。我们是否可以同时运行一个作业的多个实例。目前，我们在任何给定时间都有一个作业实例。如果可能，请告诉我如何做。最佳答案是的你可以。 Spring Batch 根据 JobPara
spring-batch - Spring Batch - 跳过过程记录
我想跳过一些过程记录。我尝试过的是，我创建了自定义异常并在我想跳过记录时抛出异常，并且它调用了 onSkipInProcess 方法的跳过监听器。它工作正常。请找到配置。
batch-file - 阻止我的 Batch 在屏幕上滑动
任何人都可以启发我一种方法来阻止我的 bat 在执行时在屏幕上闪烁吗？有没有办法阻止 CMD 窗口执行此操作？？？？最佳答案只是一个猜测，但要防止窗口在看不到打印内容的情况下立即打开和关闭，请在批
batch-file - Windows Batch 将记录添加到主机文件
我需要一个批处理文件来向 windows 中的主机文件添加一条记录，但是我不需要只添加文件，因为我想检查该记录是否已经存在。有可能吗？最佳答案 type "%SystemRoot%\system32
spring-batch - Spring Batch 事务管理如何工作？
我试图了解 Spring Batch 如何进行事务管理。这不是技术问题，而是概念问题:Spring Batch 使用什么方法以及该方法的后果是什么？让我试着澄清一下这个问题。例如，查看 Taskle
batch-file - [NT Batch]如何从用户输入的文件中获取目录？
我需要知道如何从用户输入的文件中提取目录信息，以下面的代码为例: ECHO Drag and drop your .txt file here, after that press Enter: SET
spring-batch - Spring Batch - 如何防止批处理在数据库中存储事务
首先是问题陈述:我在我的 DEV 环境中使用 Spring-Batch 很好。当我将代码移至生产环境时，我遇到了问题。在我的 DEV 环境中，Spring-Batch 能够毫无问题地在我们的 DB2
spring-batch - Spring Batch 架构
你好我是 Spring Batch 领域的新手，最近几天我花了一些时间观看 Michael Minella 的 youtube 视频，阅读了一些文档并成功运行了我在互联网上找到的一些演示项目。我认为
spring-batch - Spring Batch 处理编码的压缩文件
我正在研究使用 spring 批处理来处理编码压缩文件中的记录。记录是可变长度的，其中编码了嵌套的可变长度数据字段。我是 Spring 和 Spring Batch 的新手，这就是我计划构建批处理配
batch-file - Windows Batch - 从字符串中删除第一个单词
我正在尝试批量删除字符串中的第一个单词。示例:“这个 child 喜欢批处理”到“ child 喜欢批处理” 我试过: @echo off set /p text=text: for /f "tok

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

tensorflow tf.train.batch之数据批量读取方式