Python OpenCV 2.4 写入半完整的PNG视频帧

Question

我刚刚在 Ubuntu 12.04 上从源代码安装了 OpenCV 2.4。我正在尝试使用 Python 脚本将视频的第一帧写入 PNG 图像，但我得到了一些奇怪的结果。这是代码:

import numpy as np
import cv
import cv2
import sys

video = cv.CaptureFromFile(sys.argv[1])
frame = cv.QueryFrame(video)
proxy = cv.CreateImage(cv.GetSize(frame), 8, 1)
cv.CvtColor(frame, proxy, cv.CV_BGR2GRAY)
a = np.asarray(cv.GetMat(proxy))
cv2.imwrite('image.png', a)

问题是，图像看起来像这样:

这些是 AVI 文件，其他方面似乎没问题。有什么想法吗？

编辑 #1: 抱歉，这里是 ffmpeg 版本信息:

ffmpeg version 0.10.2-4:0.10.2-0ubuntu0jon1
built on Mar 18 2012 09:59:38 with gcc 4.6.3
configuration: --extra-version='4:0.10.2-0ubuntu0jon1' --arch=amd64 --prefix=/usr --libdir=/usr/lib/x86_64-linux-gnu --disable-stripping --enable-vdpau --enable-bzlib --enable-libgsm --enable-libschroedinger --enable-libspeex --enable-libtheora --enable-libvorbis --enable-pthreads --enable-zlib --enable-libvpx --enable-runtime-cpudetect --enable-libfreetype --enable-vaapi --enable-frei0r --enable-gpl --enable-postproc --enable-x11grab --enable-librtmp --enable-libvo-aacenc --enable-version3 --enable-libvo-amrwbenc --enable-version3 --enable-libdc1394 --shlibdir=/usr/lib/x86_64-linux-gnu --enable-shared --disable-static
libavutil      51. 35.100 / 51. 35.100
libavcodec     53. 61.100 / 53. 61.100
libavformat    53. 32.100 / 53. 32.100
libavdevice    53.  4.100 / 53.  4.100
libavfilter     2. 61.100 /  2. 61.100
libswscale      2.  1.100 /  2.  1.100
libswresample   0.  6.100 /  0.  6.100
libpostproc    52.  0.100 / 52.  0.100

编辑 #2: 在我自己的故障排除中，我将 ffmpeg 从默认的 12.04 ubuntu 版本升级到您在上面的编辑 #1 中看到的版本。这似乎改变了一些东西:在这个问题中生成帧的视频现在似乎工作正常，但较大的视频仍然存在损坏的下半部分(或下三分之一或四分之一)。更大的视频实际上完全是段错误。我真的不知道该怎么办，除了 - 再一次 - 错误或丢失的编解码器。它在 QueryFrame 步骤上出现段错误。

编辑 #3: 我更改了代码以独占使用 cv2 接口(interface)(根据以下评论之一中的链接)。现在，video.retrieve() 总是返回 False 并且没有图像被写入。

编辑 #4: 在使用新的 cv2 接口(interface)读取视频帧之前，我对视频运行了以下命令:

ffmpeg -sameq -i normal.avi p_normal.avi

除了 ffmpeg 初始化后的这一行及其对输入的描述外，该命令的输出看起来还不错:

Incompatible pixel format 'pal8' for codec 'mpeg4', auto-selecting format 'yuv420p'

下面是命令的完整输出:

Input #0, avi, from 'normal.avi':
  Duration: 00:01:37.60, start: 0.000000, bitrate: 1312 kb/s
    Stream #0:0: Video: rawvideo, pal8, 128x256, 5 tbr, 5 tbn, 5 tbc
Incompatible pixel format 'pal8' for codec 'mpeg4', auto-selecting format 'yuv420p'
[buffer @ 0x11a0f80] w:128 h:256 pixfmt:pal8 tb:1/1000000 sar:0/1 sws_param:
[buffersink @ 0x11a1380] auto-inserting filter 'auto-inserted scale 0' between the filter 'src' and the filter 'out'
[scale @ 0x1197da0] w:128 h:256 fmt:pal8 -> w:128 h:256 fmt:yuv420p flags:0x4
Output #0, avi, to 'p_normal.avi':
  Metadata:
    ISFT            : Lavf53.32.100
    Stream #0:0: Video: mpeg4 (FMP4 / 0x34504D46), yuv420p, 128x256, q=2-31, 200 kb/s, 5 tbn, 5 tbc
Stream mapping:
  Stream #0:0 -> #0:0 (rawvideo -> mpeg4)
Press [q] to stop, [?] for help
frame=  488 fps=  0 q=0.0 Lsize=    1497kB time=00:01:37.60 bitrate= 125.6kbits/s    
video:1480kB audio:0kB global headers:0kB muxing overhead 1.165352%

最重要的是，读取帧的 Python OpenCV 代码(使用 cv2 接口(interface))仍然返回 False(与之前的行为相同)。

编辑 #5: 到目前为止，我已按照说明进行操作 found here从源代码安装 ffmpeg 及其依赖项，一切顺利。在不从源代码重新安装 OpenCV 的情况下，我仍然遇到与以前相同的问题，其中 video.retrieve() 返回 False。在尝试从源代码重新编译 OpenCV 2.4 时，我在编译期间遇到以下错误:

Linking CXX shared library ../../lib/libopencv_highgui.so
/usr/bin/ld: /usr/local/lib/libavcodec.a(avpacket.o): relocation R_X86_64_32S against `av_destruct_packet' can not be used when making a shared object; recompile with -fPIC
/usr/local/lib/libavcodec.a: could not read symbols: Bad value

如果我使用 --enable-pic 标志重新编译 x264、libvpx 和 ffmpeg，OpenCV 编译仍然失败，这次使用 (kdbwin.o, .rodata) 而不是上面代码段中的 (avpacket.o, av_destruct_packet)。

编辑 #6: 通过将 --enable-shared 添加到 libvpx 和 ffmpeg 的配置选项来修复上述错误。 OpenCV 重新编译构建成功，ffmpeg 工作正常。遗憾的是，在运行之前的命令 (ffmpeg -sameq -i normal.avi p_normal.avi) 之后，我的脚本仍然 无法检索任何帧；返回的标志仍然是 False。还有其他想法吗？

编辑#7:这是我使用的最新脚本。

import numpy as np
import cv2
import sys

video = cv2.VideoCapture(sys.argv[1])
flag, frame = video.retrieve()
if not flag:
  print 'Error'
  quit()
proxy = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
cv2.imwrite('image.png', proxy)

编辑 #8: 知道了!代码应该是这样的:

import numpy as np
import cv2
import sys

video = cv2.VideoCapture(sys.argv[1])
if video.grab():
  flag, frame = video.retrieve()
  if not flag:
    print 'Error'
    quit()
  proxy = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
  cv2.imwrite('image.png', proxy)

Answer 1

问题很可能出在 ffmpeg 和使用的视频编解码器上。你能分享其中一个视频吗？然后我们可以检查编解码器，看看有什么问题。我们也不知道您的系统上有什么 ffmpeg 版本。

请注意，为什么要混合使用 cv 和 cv2 接口(interface)？仅使用 cv2 接口(interface)，代码看起来会更好。

编辑:我忘了说，我测试了代码，所以问题肯定不在代码中。

编辑 2:问题很可能是 ffmpeg 无法处理您的视频。如果不测试有问题的视频，很难说。您可以试试 cv2 接口(interface)，cv2.VideoCapture是您应该用来从视频文件中抓取帧的工具。

编辑 3: 我看了视频，OpenCV 使用 ffmpeg 的方式似乎与您的视频有问题。一个快速的解决方法是在通过 OpenCV 打开之前使用 ffmpeg 处理您的视频。 ffmpeg -sameq -i normal.avi p_norma.avi 给你一个视频，p_norma.avi，你可以毫无问题地用 OpenCV 处理它。对于 normal.avi:

Selected video codec: [rawbgr8flip] vfm: raw (RAW BGR8)

对于生成的视频 p_norma.avi:

Selected video codec: [ffodivx] vfm: ffmpeg (FFmpeg MPEG-4)

因此，生成的视频大约小 10 倍。这对您来说是一个可能的解决方案吗？