tensorflow tf.train.batch之数据批量读取方式-6ren

tensorflow tf.train.batch之数据批量读取方式

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章tensorflow tf.train.batch之数据批量读取方式由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

在进行大量数据训练神经网络的时候，可能需要批量读取数据。于是参考了这篇文章的代码，结果发现数据一直批量循环输出，不会在数据的末尾自动停止.

然后发现这篇博文说slice_input_producer()这个函数有一个形参num_epochs，通过设置它的值就可以控制全部数据循环输出几次.

于是我设置之后出现以下的报错:

 
    ? 
   
 
     
       
       
         tensorflow.python.framework.errors_impl.FailedPreconditionError: Attempting to use uninitialized value input_producer 
         / 
         input_producer 
         / 
         limit_epochs 
         / 
         epochs 
        

            
        
 
               
         [[Node: input_producer 
         / 
         input_producer 
         / 
         limit_epochs 
         / 
         CountUpTo  
         = 
         CountUpTo[T 
         = 
         DT_INT64, _class 
         = 
         [ 
         "loc:@input_producer/input_producer/limit_epochs/epochs" 
         ], limit 
         = 
         2 
         , _device 
         = 
         "/job:localhost/replica:0/task:0/cpu:0" 
         ](input_producer 
         / 
         input_producer 
         / 
         limit_epochs 
         / 
         epochs)]] 
        
 
     
 
   

找了好久，都不知道为什么会错，于是只好去看看slice_input_producer()函数的源码，结果在源码中发现作者说这个num_epochs如果不是空的话，就是一个局部变量，需要先调用global_variables_initializer()函数初始化.

于是我调用了之后，一切就正常了，特此记录下来，希望其他人遇到的时候能够及时找到原因.

哈哈，这是笔者第一次通过阅读源码解决了问题，心情还是有点小激动。啊啊，扯远了，上最终成功的代码:

 
    ? 
   
         import 
         pandas as pd 
        
         import 
         numpy as np 
        
         import 
         tensorflow as tf 
        
         def 
         generate_data(): 
        
         num  
         = 
         25 
        
         label  
         = 
         np.asarray( 
         range 
         ( 
         0 
         , num)) 
        
         images  
         = 
         np.random.random([num,  
         5 
         ]) 
        
         print 
         ( 
         'label size :{}, image size {}' 
         . 
         format 
         (label.shape, images.shape)) 
        
         return 
         images,label 
        
         def 
         get_batch_data(): 
        
         label, images  
         = 
         generate_data() 
        
         input_queue  
         = 
         tf.train.slice_input_producer([images, label], shuffle 
         = 
         False 
         ,num_epochs 
         = 
         2 
         ) 
        
         image_batch, label_batch  
         = 
         tf.train.batch(input_queue, batch_size 
         = 
         5 
         , num_threads 
         = 
         1 
         , capacity 
         = 
         64 
         ,allow_smaller_final_batch 
         = 
         False 
         ) 
        
         return 
         image_batch,label_batch 
        
         images,label  
         = 
         get_batch_data() 
        
         sess  
         = 
         tf.Session() 
        
         sess.run(tf.global_variables_initializer()) 
        
         sess.run(tf.local_variables_initializer()) 
         #就是这一行 
        
         coord  
         = 
         tf.train.Coordinator() 
        
         threads  
         = 
         tf.train.start_queue_runners(sess,coord) 
        
         try 
         : 
        
         while 
         not 
         coord.should_stop(): 
        
         i,l  
         = 
         sess.run([images,label]) 
        
         print 
         (i) 
        
         print 
         (l) 
        
         except 
         tf.errors.OutOfRangeError: 
        
         print 
         ( 
         'Done training' 
         ) 
        
         finally 
         : 
        
         coord.request_stop() 
        
         coord.join(threads) 
        
         sess.close()

以上这篇tensorflow tf.train.batch之数据批量读取方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/liweibin1994/article/details/78306417 。

最后此篇关于tensorflow tf.train.batch之数据批量读取方式的文章就讲到这里了,如果你想了解更多关于tensorflow tf.train.batch之数据批量读取方式的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Python模块future用法原理详解

文章推荐： Python list运算操作代码实例解析

文章推荐： Python线程条件变量Condition原理解析

文章推荐： Tensorflow实现在训练好的模型上进行测试

Python:Pandas 读取 csv:读取 csv 时向下转换
我遇到以下问题。我想读取一个包含数百万行和数百列的大型 csv。我想向下转换列的数据类型。我的方法是读取 csv，然后使用 pd.to_numeric() 对其进行向下转换。我不知道列数及其类型。在读
c# - 从 SQL Server 读取 - 需要从 CSV 读取
目前，我从 SQL server (2008) 数据库获取数据。 cyurrent的方法是使用DataTable，然后将其传递并使用。 if (parameters != null)
python - Dask 读取 csv 与 pandas 读取 csv
我有以下问题。我有一个巨大的 csv 文件，想用多处理加载它。对于一个包含 500000 行和 130 列不同数据类型的示例文件，Pandas 需要 19 秒。我试过 dask 因为我想多处理阅读。但
java - 读取 VC++ CArchive 二进制格式(或 Java 读取 (CObArray))
是否有关于用于序列化各种 MFC 数据结构的二进制格式的明确文档？我已经能够在十六进制编辑器中查看我自己的一些类，并使用 Java 的 ByteBuffer 类读取它们(使用自动字节顺序转换等)。但
javascript - 是否可以使用 javascript 读取 something.properties ？ (在 .hta 文件中)>> 读取 Selenium
我正在使用 Selenium 进行测试，我们用 HTML 文件编写测试用例，并用它们制作测试套件，我们的要求是编写足够健壮的测试用例，以根据测试环境改变自身。为此，我不希望在 HTML 脚本本身中包
读取.txt文件的Javascript代码
我需要一个 JavaScript 代码来读取存储为 .txt 文件的字典(或者也可以保存为任何其他类型的文件。它也可以在线获得)并将其内容存储在一个变量中。我不能找到一种让 JavaScript 像
java - 读取/过滤文本文件的最快方法是什么
我正在尝试遍历包含 SSH 登录和其他日志的日志文本文件。程序正在返回 SSH 登录的总数。我的解决方案确实有效，但似乎有点慢(在 200mo 文件上大约需要 3.5 秒)。我想知道是否有任何方法
vba - 读取/写入大量数据
我正在将大量数据从一个电子表格复制到工作簿中的其他 160 个电子表格。目前，Excel (2013) 遇到错误，因为它没有足够的资源来完成操作。我的目标是将工作表 4 中 V13:XI1150 范
VBA 读取/搜索文本文件
我正在尝试读取一个有 1147 行的文本文件。下面的代码仅读取第 1050-1147 行。我的目标是读取整个文件并提取位于不同行的特定值以在脚本中使用。一个示例是包含“BlockList: 2”的行中
Prolog 用户输入的时间限制(读取)
我正在为游戏编写解释器。用户将其移动输入解释器，程序执行该移动。现在我想为每个决定实现一个时间限制。玩家不应该能够思考超过 30 秒来写一个移动并按下回车。 call_with_time_limit
读取 HITRAN 文件格式
以this file例如，我正在尝试读取 data.frame 中的数据。来自 the doc (pdf 文件，表 1)，它遵循一些 fortran 约定。我尝试了以下但收效甚微: dir 0' 将
读取 R 的电子邮件附件
我正在使用 R 阅读 Outlook 附件。我的引用在这里:Download attachment from an outlook email using R 这是我的电子邮件的截图: 这每天都会发送
php xmlrpc 读取
我不会从表格中读取行来将主题放在列表中 php脚本 $url_obj='http://'.$host.':8069/xmlrpc/object'; $sock=new xmlrpc_client($u
读取 csv 但跳过字符串中的转义逗号
我有一个这样的 csv 文件: id,name,value 1,peter,5 2,peter\,paul,3 我如何读取此文件并告诉 R "\," 不表示新列，仅表示 ","。我必须添加该文件
macos - 读取 plist
我正在尝试读取 ~/Library/Preferences/com.apple.mail.plist (在 Snow Leopard 上)以获取电子邮件地址和其他信息以进入“关于”对话框。我使用以下代
bash - 读取 float
This question already has answers here: How do I use floating-point division in bash? (19个回答) 5个月前关闭
COBOL 读取/存储在表中
本练习的目标是读取输入文件并将其存储到表中，然后验证输入中的某些字段并输出任何错误记录。我需要读取并存储每个策略组，以便表中一次仅存储 5 条记录，而不是整个文件。所以我需要读取一个包含 5 条记录
Cassandra LWT 读取
据我了解，LWT 插入始终以 SERIAL 一致性级别完成。如果为 true，这是否意味着读取作为 LWT 插入的行可以安全地以 ANY 的一致性级别读取？换句话说，我假设 LWT 插入是完全一致的
JavaScript:读取 cookie
我看到很多很多通过java脚本读取cookie的函数，但我只想在变量中使用它一次，我是JS新手。这是我的代码 var TheNumber = (Math.random() + '') * 10000
c# - 读取.net中的程序集
我正在使用 asp.net 和 C#。我在服务器上部署了一个应用程序[已发布]，现在我想查看该网站的代码，据我所知，我可以阅读程序集来查看代码。请告诉我如何实现它。提前致谢。最佳答案您可以使用

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

tensorflow tf.train.batch之数据批量读取方式