java - 将 android 的相机提要流式传输到基于 java 的服务器

Question

我正在制作一个简单的 android 应用程序，它将摄像机的视频流传输到基于自定义 java 的服务器，我正在使用 tcp 发送帧(基本上是字节[])，[我知道 tcp 不是视频流的好方法但是对我来说没问题]，android 是客户端，java 应用程序是服务器，我已经成功实现了客户端，但是我在实现 java 应用程序时遇到了问题，服务器必须接收字节 []，将它们转换为图像并显示在一些图像容器中，这是服务器的源代码:

      package dummyserver;

       import java.awt.Image;
       import java.awt.image.BufferedImage;
       import java.io.ByteArrayInputStream;
       import java.io.DataInputStream;
       import java.io.IOException;
       import java.io.InputStream;
       import java.net.ServerSocket;
       import java.net.Socket;
       import javax.imageio.ImageIO;
       import javax.media.jai.PlanarImage;


     /**
         *
       * @author usama
     */
  public class ServerListen implements Runnable{


    CameraFeed camera_feed_ui;
    ServerSocket server_socket=null;
    Socket client_socket=null;
    InputStream in=null;
    int port=9000;
    DataInputStream dis=null;

public ServerListen() {}

public ServerListen(CameraFeed camera_feed_ui)
{
    this.camera_feed_ui = camera_feed_ui;
}



public void run() {

        int len = 0;
        byte[] data;

            while(true)
    {
    try {
        System.out.println("Waiting");
        server_socket = new ServerSocket(port);
        client_socket=server_socket.accept();
        System.out.println("Client arrived");
        System.out.println("Reading Image");
       in=client_socket.getInputStream();

       data=new byte[client_socket.getReceiveBufferSize()];

       in.read(data, 0, client_socket.getReceiveBufferSize());

        Image image = getImageFromByteArray(data);

        BufferedImage bufferedImage = new BufferedImage(image.getWidth(null), image.getHeight(null), BufferedImage.TYPE_INT_RGB);

        PlanarImage planar_image=PlanarImage.wrapRenderedImage(bufferedImage);
        System.out.println("Converting byte[] to Image completed");
        camera_feed_ui.displayImage(planar_image);


//        client_socket.close();
        server_socket.close();



        }
 catch(Exception ex)
    {
        System.out.println("error: "  + ex.toString());
    }

    }
}




public static Image getImageFromByteArray(byte[] byteArray) {
    InputStream is = new ByteArrayInputStream(byteArray);
    try {
        return ImageIO.read(is);
    } catch (IOException ex) {
        System.out.println("Unable to converet byte[] into image.");
        return null;

    }


  }
 }

代码说明:CameraFeed 是我的 JFrame 的对象，它基本上包含要在其上显示视频的图像容器(用于显示视频，我正在使用 jai [java advance imaging])。方法 displayImage(PlanarImage) 只是获取要在容器中显示的图像。我认为问题在于将 byte[] 转换为图像，或者我没有从套接字中正确提取 byte[]，现在在输出中我得到了一个黑色图像。

还有一件事，在客户端，我正在为每一帧建立tcp连接，从这段代码中也很清楚，我在接收到帧后关闭连接(server_socket.close())，这是一个很好的方法？我怎样才能使这种流媒体高效？如果您可以，请描述从 Android 手机到服务器的视频流的适当方法(我问的是算法)。

提前致谢

问候

乌山

编辑:

C# 代码:

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Net.Sockets;
using System.Threading;

namespace VideoServer
{
    public partial class Form1 : Form
   { 

    TcpListener server_socket;
    Socket client_socket;
    Thread video_thread;
    NetworkStream ns;

    public Form1()
    {
        InitializeComponent();
        server_socket = null;
        client_socket = null;
    }

    private void startVideoConferencing()
    {
        try
        {
            server_socket = new TcpListener(System.Net.IPAddress.Parse("192.168.15.153"),9000);
            server_socket.Start();
            client_socket = server_socket.AcceptSocket();
            ns = new NetworkStream(client_socket);
            pictureBoxVideo.Image = Image.FromStream(ns);
            server_socket.Stop();

            if (client_socket.Connected == true)
            {
                while (true)
                {
                    startVideoConferencing();
                }
                ns.Flush();
            }
        }
        catch (Exception ex)
        {
            button1.Enabled = true;
            video_thread.Abort();
        }
    }

    private void button1_Click(object sender, EventArgs e)
    {
        button1.Enabled = false;
        video_thread = new Thread(new ThreadStart(startVideoConferencing));
        video_thread.Start();
    }

}
}

基本上问题是什么相当于Image.FromStream在 java 中，如果 java 中有任何这样的方法，它只需要一个流并转换为图像，同时抽象出转换的低级细节，那么这个任务也可以为 Java 完成。那么有什么想法吗？？

Answer 1

视频流不仅仅是图像流(例如 Jpeg)。根据编解码器，它是一个编码帧流，其中一些只是部分(帧内)帧。所以你不能只获取视频流并简单地使用图像编解码器对其进行解码。您需要一个视频流编解码器。

看看这两个开源项目，看看他们是如何实现的:

http://code.google.com/p/spydroid-ipcamera/

http://code.google.com/p/ipcamera-for-android/