java - 使用套接字发送 onPreviewFrame() byte[] 的正确方法

Question

我正在尝试将预览帧从手机相机发送到平板电脑。在服务器应用程序中，我从 onPreviewFrame() 启动一个线程以建立一个 ServerSocket，该 ServerSocket 又启动另一个线程响应按钮点击，用于验证目的，来自客户端应用程序。像这样...

    @Override
    public void onPreviewFrame(byte[] data, Camera camera) {
        Log.i("Server", "onPreviewFrame() called");
        mParent.new SocketServerThread(data).start();   
    } 

SocketServerThread 在哪里...

     ...
     private mData = data;
     ...
     @Override
     public void run() {
         try {
             serverSocket = new ServerSocket(SocketServerPORT);

             while (true) {
                 Socket socket = serverSocket.accept();
                 SocketServerReplyThread socketServerReplyThread = 
                         new SocketServerReplyThread(socket, count, mData);
                 Log.i("Server", "data array sent to reply thread");
                 socketServerReplyThread.run();
             }
         } catch (IOException e) {
             e.printStackTrace();
         }
     }
 }

我可以通过 serverSocket.accept() 上的 block 验证连接。有趣的是开始尝试处理数据。一次尝试是这样的……

     @Override
     public void run() {
         try {
             outputStream = hostThreadSocket.getOutputStream();
             DataOutputStream dataStream = new DataOutputStream(outputStream);
             dataStream.writeInt(mBuffer.length);
             if (mBuffer.length > 0)
                 outStream.write(mBuffer);
             outStream.close();

         } catch (IOException e) {
             e.printStackTrace();
         }
     }
 }

我已经设置了断点，除了 outStream.close() 的断点永远不会被击中外，一切似乎都正常进行。相反，它返回到我在 Socket socket = serverSocket.accept() 上的断点。

在客户端，我有一个处理连接的AsyncTask，由onClick 调用，就像这样...

 @Override
 protected Void doInBackground(Void... arg0) {

     Socket socket = null;
     int bytesRead;

     try {
         socket = new Socket(dstAddress, dstPort);

         InputStream inputStream = socket.getInputStream();
         DataInputStream dis = new DataInputStream(inputStream);                     

         bytesRead = dis.read(buffer);
         if (bytesRead != -1) {
             final Bitmap bitmap = BitmapFactory.decodeByteArray(buffer, 0, bytesRead);
             final DisplayMetrics metrics = new DisplayMetrics();

             AndroidClientActivity.this.runOnUiThread(new Runnable() {

                @Override
                public void run() {
                    getWindowManager().getDefaultDisplay().getMetrics(metrics);
                    //view is an ImageView
                    view.setMinimumHeight(metrics.heightPixels);
                    view.setMinimumWidth(metrics.widthPixels);
                    view.setImageBitmap(bitmap);
                    view.refreshDrawableState();
                }
            });     
         }

     } catch (UnknownHostException e) {
         e.printStackTrace();
     } catch (IOException e) {
         e.printStackTrace();
     }finally{
         if(socket != null){
             try {
                 socket.close();
             } catch (IOException e) {
                 e.printStackTrace();
             }
         }
     }
     return null;
 }

问题是 ImageView 不显示任何帧。

问题:

• >在用 byte[] 设置 ImageView 之前，还需要对 byte[] 做些什么吗？
• >byte[] 的处理是否应该在服务器应用程序中完成；有关系吗？
• >有没有更好的方法来解决这个问题？

我应该提一下，之前的代码是一些教程的组合，经过更改并融入了我自己的工作。我已经尝试使用替代流(例如 ByteArray)和原始流来实现相同的效果，但没有成功。我发现我在同时调试这两个应用程序时以及在运行一个应用程序的同时调试另一个应用程序时得到的反馈不可靠，这只会让我对问题有部分看法。当我调试两者时，我会在随机位置得到 NPE，否则不会发生；可能是由于断点暂停。虽然不确定。

Answer 1

不可以，您不能将原始预览帧发送到 ImageView。无论如何，ImageView 对您来说不是一个好的选择，因为它不适用于动态(视频)内容。

如果你想流式传输视频，你需要在一侧压缩它并在另一侧解码:即使 WiFi 也没有足够的带宽来播放质量合理的未压缩视频。幸运的是，Android 提供了 API 来使用非常高效的硬件编解码器对视频进行编码和解码。

此外，您还需要一个高级通信协议(protocol)来处理延迟、数据包丢失等问题。从头开始设计和实现是一项艰巨的任务，即使您将其削减到最低限度。幸运的是，没有必要重新发明这个轮子。我强烈推荐 libstreaming可用于实时视频流的采集、通信和显示的库。