python - tensorflow 量化: Array output does not have MinMax information

Question

我正在尝试创建一个 Tensorflow 量化模型，以便使用 Coral USB 加速器进行推理。这是我的问题的一个最小的独立示例:

import sys

import tensorflow as tf

CKPT = "a/out.ckpt"
TFLITE = "a/out.tflite"

args = sys.argv[1:]
if 0 == len(args):
    print("Options are 'train' or 'save'")
    exit(-1)
cmd = args[0]

if cmd not in ["train", "save"]:
    print("Options are 'train' or 'save'")
    exit(-1)

tr_in = [[1.0, 0.0], [0.0, 1.0], [0.0, 0.0], [1.0, 1.0]]
tr_out = [[1.0], [1.0], [0.0], [0.0]]

nn_in = tf.placeholder(tf.float32, (None, 2), name="input")

W = tf.Variable(tf.random_normal([2, 1], stddev=0.1))
B = tf.Variable(tf.ones([1]))

nn_out = tf.nn.relu6(tf.matmul(nn_in, W) + B, name="output")

if "train" == cmd:
    tf.contrib.quantize.create_training_graph(quant_delay=0)
    nn_act = tf.placeholder(tf.float32, (None, 1), name="actual")
    diff = tf.reduce_mean(tf.pow(nn_act - nn_out, 2))
    update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
    with tf.control_dependencies(update_ops):
        optimizer = tf.train.AdamOptimizer(
            learning_rate=0.0001,
        )
        goal = optimizer.minimize(diff)
else:
    tf.contrib.quantize.create_eval_graph()

init = tf.global_variables_initializer()
with tf.Session() as session:
    session.run(init)

    saver = tf.train.Saver()
    try:
        saver.restore(session, CKPT)
    except BaseException as e:
        print("While trying to restore: {}".format(str(e)))

    if "train" == cmd:
        for epoch in range(2):
            _, d = session.run([goal, diff], feed_dict={
                nn_in: tr_in,
                nn_act: tr_out,
            })
            print("Loss: {}".format(d))
        saver.save(session, CKPT)
    elif "save" == cmd:
        converter = tf.lite.TFLiteConverter.from_session(
            session, [nn_in], [nn_out],
        )
        converter.inference_type = tf.lite.constants.QUANTIZED_UINT8
        input_arrays = converter.get_input_arrays()
        converter.quantized_input_stats = {input_arrays[0] : (0.0, 1.0)}
        tflite_model = converter.convert()
        with open(TFLITE, "wb") as f:
            f.write(tflite_model)

假设您有一个名为“a”的目录，可以使用以下命令运行:

python example.py train
python example.py save

“训练”步骤应该可以正常工作，但是当尝试导出量化的 tflite 文件时，我得到以下信息:

...
2019-05-14 14:03:44.032912: F tensorflow/lite/toco/graph_transformations/quantize.cc:144] Array output does not have MinMax information, and is not a constant array. Cannot proceed with quantization.
Aborted

我的目标是成功运行“保存”步骤并最终得到经过训练的量化模型。我错过了什么？

Answer 1

TFLiteConverter 中有一个棘手的错误:

• 为了转换为量化模型格式，每个(几乎每个)数学运算节点都需要额外的节点(包含 MinMax 信息)。
• 此类附加节点是在之后相应操作后添加create_eval_graph函数的。
• 但在转换为 TFLite 格式时，转换器仅考虑输入和输出(包含)之间的节点。因此，在这种情况下，在您的 nn_out 被“丢弃”之后，会产生额外的节点(带有 MinMax 信息)，这会导致上述转换错误:(

如果您构建的分类网络通常以 softmax 层(不需要 MinMax 信息)结束，则不会出现该错误。但对于回归网络来说这是一个问题。我使用以下解决方法。

在调用 create_eval_graph 函数之前，在输出层之后添加额外的(实际上毫无意义的)操作，如下所示:

nn_out = tf.minimum(nn_out, 1e6)

您可以使用比预期输出层值上限大得多的任意数字(对于第二个参数)。它在我的情况下完美运行。