python - 将可变长度张量的集合保存到TensorFlow中的TFRecords文件中

Question

我正在尝试将不同长度的张量列表保存到TFRecords文件中，以便以后可以轻松加载它们。所讨论的张量是整数的一维数组。

原因是张量是处理大文本文件的结果。该文件很大，处理速度很慢，所以我不想每次运行算法时都重复该步骤。我最初想将文本文件加载到常规Python列表或numpy数组中，然后对其进行腌制，但是从这些列表到张量本身的转换需要很长时间，因此我不想每次都等待也可以运行我的脚本。似乎无法直接对张量进行腌制，即使有一些解决方法，我也觉得TFRecords是保存张量数据的“正确”方法。

但是，我不确定如何将张量正确保存到TFRecords文件中，然后将它们作为张量重新加载。我确实完成了TensorFlow教程，在该教程中，MNIST数据被保存到TFRecords文件中，然后被加载，但是与我的用例之间有一些区别。

以下是一段代码，旨在复制我在较简单情况下遇到的问题。

import tensorflow as tf

def _int64_list_feature(values):
   return tf.train.Feature(int64_list=tf.train.Int64List(value=values))

filename = "/Users/me/tensorflow/test.tfrecords"
writer = tf.python_io.TFRecordWriter(filename)
example = tf.train.Example(features=tf.train.Features(feature={'datalist': _int64_list_feature([2,3])}))
writer.write(example.SerializeToString())
example = tf.train.Example(features=tf.train.Features(feature={'datalist': _int64_list_feature([8,5,7])}))
writer.write(example.SerializeToString())
writer.close()

前几行是标准的。我将两个一维张量写入TFRecords文件，一个张量为2，另一个为长度3。

def read_my_file(filename_queue):
    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)
    features = tf.parse_single_example(serialized_example, features={'datalist': tf.VarLenFeature(tf.int64), })
    datalist = features['datalist']
    return datalist

您似乎应该使用的辅助函数。我不是100％知道为什么这样做是必要的，但是如果不编写此代码，我将无法使它正常工作，并且所有示例都具有类似的内容。就我而言，数据没有标签，所以我没有标签变量。

filename_queue = tf.train.string_input_producer([filename], 2)
datalists = read_my_file(filename_queue)
datalists_batch = tf.train.batch([datalists], batch_size=2)

示例中提供了更多“样板”样式的代码。批处理大小为2，因为此代码中只有2个示例。
datalists_batch现在将是一个稀疏张量，其中包含我的矢量 [2, 3]和 [8, 5, 7]，第一个在第二个之上。因此，我想将它们拆分成单独的张量。在这一点上，我已经担心它的运行时间可能也很长，因为在我的真实代码中，有超过100,000个单独的张量将被拆分。

split_list = tf.sparse_split(0, 2, datalists_batch)
sp0 = split_list[0]
sp1 = split_list[1]
sp0_dense = tf.sparse_tensor_to_dense(sp0)
sp1_dense = tf.sparse_tensor_to_dense(sp1)
sp0_dense = tf.squeeze(sp0_dense)
sp1_dense = tf.squeeze(sp1_dense)

split_list现在是单个张量的列表，仍为稀疏格式(所有长度都等于最长张量的长度，在这种情况下为3)。它们也是二维的，而另一个尺寸为1，因为 datalists_batch张量为2D)。现在，我必须操纵张量以使其达到正确的格式。在实际代码中，我当然会使用for循环，但是在这种情况下只有2个示例。首先，我将它们转换为密集的张量。但是，在 sp0的情况下，由于该张量的长度为3，因此用 0填充了最后一个索引。(此问题将在下面讨论。)然后，我对其进行“压缩”，以便实际上将它们视为长度为3的张量。 1x3。

最后，我需要从 sp0中删除结尾的零。这部分给我带来了困难。我不以编程方式知道特定张量有多少个尾随零。它等于最长张量的长度减去此张量的长度，但是我不了解稀疏索引就不知道张量的“实际”长度，但是如果不评估“temp”张量，就无法访​​问它(因为索引本身就是张量)。

indices_0 = sp0.indices
indices_1 = sp1.indices
indices0_size = tf.shape(indices_0)
indices1_size = tf.shape(indices_1)

这些对于上述切片操作是必需的。

sess = tf.Session()
init_op = tf.initialize_all_variables()
sess.run(init_op)
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)

初始化。

sp0_fixed = tf.slice(sp0_dense, [0], [sess.run(indices0_size[0])])
sp1_fixed = tf.slice(sp1_dense, [0], [sess.run(indices1_size[0])])
sess.run(sp0_fixed)
sess.run(sp1_fixed)

这就是我要做的。问题是，运行后三个命令时出现奇怪的错误。我推测问题是在sess.run被调用之后(在 sp0_fixed行中)，我正在创建新的操作，因此该图正在同时运行。我想我只应该运行sess.run一次。但是，这使我无法找出对每个张量进行切片(除去尾随零)的正确索引。因此，我不知道下一步该怎么做。

令人惊讶的是，在Google，TensorFlow文档和StackOverflow上，如何进行这样的操作(将可变长度的张量保存和加载到文件中或从文件中加载可变长度张量)，我什至没有发现任何帮助。我很确定我会以错误的方式进行操作；即使有一种解决方法可以重写最后四行以使程序正常运行，但总体而言，代码的执行似乎过于复杂，无法执行非常基本的功能。

我将不胜感激任何建议和反馈。

Answer 1

我没有太多的tfRecords经验，但这是使用tfRecords存储和检索可变长度数组的一种方法

编写tfrecord

# creating a default session we'll use it later 

sess = tf.InteractiveSession( )

def get_writable( arr ):
    """
        this fucntion returns a serialized string 
        for input array of integers
        arr : input array
    """
    arr = tf.train.Int64List( value = arr)
    arr = tf.train.Feature(int64_list= arr )
    arr = tf.train.Features(feature =  { 'seqs': arr})
    arr = tf.train.Example( features = arr)
    return arr.SerializeToString()


filename = "./test2.tfrecords"
writer = tf.python_io.TFRecordWriter(filename)

#writing 3 different sized arrays 
writer.write( get_writable([1,3,5,9]))
writer.write( get_writable([2,7,9]))
writer.write( get_writable([3,4,6,5,9]))
writer.close()

将数组写入“test2.tfrecord”

读取文件

##Reading from the tf_record file 

## creating a filename queue 
reader = tf.TFRecordReader( )
filename_queue = tf.train.string_input_producer(['test2.tfrecords'])

##getting the reader 
_, ser_ex = reader.read(filename_queue, )

##features that you want to extract 
read_features = {
    'seqs' : tf.VarLenFeature(dtype = tf.int64)
}
batchSize  = 2
# before parsing examples you must wrap it in tf.batch to get desired batch size  
batch = tf.train.batch([ser_ex], batch_size= batchSize , capacity=10)
read_data = tf.parse_example( batch, features= read_features )
tf.train.start_queue_runners( sess) 
# starting reading queues are requred before reding the data  

现在我们准备读取tfRecord文件的内容

batches = 3
for _ in range(batches):

    #get the next sparse tensor of shape (batchSize X elements in the largest array ) 
    #every time you invoke read_data.values()

    sparse_tensor = (list(read_data.values())[0]).eval()

    # as the batch size is larger than 1 
    # you'd want seperate lists that you fed 
    #at the time of writing the tf_record file 

    for i in tf.sparse_split(axis=  0, num_split=batchSize, sp_input= sparse_tensor  ):
        i = i.eval()
        shape =  [1, (i).indices.shape[0]] 
        #getting individual shapes of different sparse tensors  
        tens = tf.sparse_to_dense(sparse_indices=i.indices ,sparse_values= i.values , output_shape= shape) 
        #converting them into dense tensors
        print(tens.eval()) 
        #evaluating the final Dense Tensor 

查看 this帖子，这是开始使用tfRecords的绝佳说明