python - PIL.Image.open和tf.image.decode_jpeg返回值的区别

Question

我使用 PIL.Image.open 和 tf.image.decode_jpeg 将图像文件解析为数组。但发现PIL.Image.open()中的像素值与tf.image.decode_jpeg不一样。为什么会出现这种情况？

谢谢!

代码输出:

tf 100 100 [132 145 161]
pil 100 100 [134 147 164]

我的代码:

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

from datetime import datetime
import math
import time

import numpy as np
import tensorflow as tf

def decode_jpeg(image_file):
  from PIL import Image
  im = Image.open(image_file)
  data = np.array(im)
  return data

def tfimageread(filenames):
  filename_queue = tf.train.string_input_producer(filenames)
  reader = tf.WholeFileReader(name='image_reader')
  key, value = reader.read(filename_queue)
  uint8image = tf.image.decode_jpeg(value, channels=3)

  with tf.Session() as sess:
    coord = tf.train.Coordinator()
    threads = []
    for qr in tf.get_collection(tf.GraphKeys.QUEUE_RUNNERS):
      threads.extend(qr.create_threads(sess, coord=coord, daemon=True, start=True))
    image = sess.run(uint8image)
    coord.request_stop()
    coord.join(threads, stop_grace_period_secs=10)
    return image

if __name__ == '__main__':
  image_file = '。/o_1bchv9keu625336862107241874241888.jpg'
  image_tf = tfimageread([image_file])
  image_pil = decode_jpeg(image_file)
  i, j = 100, 100
  print ("tf %d %d %s" % (i,j,image_tf[i][j]))
  print ("pil %d %d %s" % (i,j,image_pil[i][j]))

Answer 1

此问题的一个常见原因是tensorflow在解压缩jpeg时尝试走捷径。这提供了 pretty large speedup对于图像读取，这可能是训练某些 CNN 的瓶颈，但确实会稍微抖动像素值。

幸运的是，开发人员已经提供了关闭其中一些效率的选项。特别是，请查看 argument dct_method。

尝试将对 tf.image.decode_jpeg 的调用更改为:

tf.image.decode_jpeg(value, channels=3, dct_method='INTEGER_ACCURATE')

您可能还需要困惑 fancy_upscaling，具体取决于您正在阅读的图像类型以及您的软件正在使用的 libjpeg 底层版本中发生的其他事情。