java - 如何将图像(UIImage)从 SWIFT ios 客户端程序发送到 JAVA 服务器程序？

Question

我的问题:

• 如何正确地将图像从 ios swift 客户端应用程序转换并发送到 java 服务器？(不使用大量外部 sdks)

• 在 swift 中使用哪种类型的套接字(我是 swift 的新手，真的找不到任何合适的套接字)？

• 请给我一个示例代码，因为我一点也不精通 swift 语法和库。

我的计划的预期结果- ios swift 应用程序应该有效地连接到我的 java 服务器并将视频帧的图像实时发送到它。然后图像应在 Java 服务器机器上转换为 bufferedImage 并作为视频播放!

关于之前提出的问题- 我只找到一个类似的问题，但答案不是很有用。

详情

• 所以，我在我的 mac 上编写了一个 Java 服务器程序，我想添加一个功能，用户应该能够将实时视频从他的 iPhone(ios 设备)发送到我的 Java 服务器程序。

• ios 应用程序是在 xcode 上用 swift 编写的。

• 为了做到这一点，我在 swift 程序中从视频帧中捕获 CGImage 并将其转换为 UIImage ;然后我将这个 UIImage 转换为 byte[] 数据，如下所示:-

  let cgImage:CGImage = context.createCGImage(cameraImage, from: 
  cameraImage.extent)!     //cameraImage is grabbed from video frame
  image = UIImage.init(cgImage: cgImage)
  let data = UIImageJPEGRepresentation(image, 1.0)
  

• 然后使用 SwiftSocket/TCPClient ( https://github.com/swiftsocket/SwiftSocket ) 将此 byte[] 数据发送到我的 Java 服务器运行的 IP 地址和端口

   client?.send(data: data!)
  

• 这里的 client 是一个 TCPClient 类型的对象，它在 swift xcode 中声明如下:( https://github.com/swiftsocket/SwiftSocket/blob/master/Sources/TCPClient.swift )

      client = TCPClient(address: host, port: Int32(port))
      client?.connect(timeout: 10)
  

• 连接成功，Java 服务器程序生成一个 MobileServer 线程来处理此客户端。 DataInput 和OutputStreams 使用ServerSocket 打开。这是 Java 服务器生成的 MobileServer 线程的 run() 方法(其中“in”是从 ServerSocket 派生的 DataInputStream)

   public void run()
   {
    try{
  
  
  while(!stop)
  {
    int count=-1;
  
    count = in.available();
    if(count>0) System.out.println("LENGTH="+count);
    byte[] arr=new byte[count];
    System.out.println("byte="+arr);
    in.read(arr);
  
    BufferedImage image=null;
    try{
         InputStream inn = new ByteArrayInputStream(arr);
         image = ImageIO.read(inn);
         inn.close();
       }catch(Exception f){ f.printStackTrace();}
       System.out.println("IMaGE="+image);
  
     if(image!=null)
     appendToFile(image);
  
  
    }
  
  
  
  
  
        }catch(Exception l){ l.printStackTrace(); }
  
    }
  

• 问题是我的 Java 服务器正在接收一些奇怪的字节序列，这些字节序列可能无法正确转换为 BufferedImage，因此在查看文件中存储的“视频”时，我只能看到一条细长的“图像”，而iPhone 捕捉正常。(基本上图像没有正确地从 ios 应用程序传输到我的服务器!)

整个 Swift 程序的 viewController.swift 视频采集是从这个 github 项目派生的(https://github.com/FlexMonkey/LiveCameraFiltering)

编辑- 我已经找出问题并将其作为答案发布，但这仍然只是一种解决方法，因为服务器视频源仍然挂起很多，我不得不降低发送的图像字节数据的质量由 swift 客户。肯定有更好的做事方式，我请求人们分享他们的知识。

Answer 1

因此，我无法找到上述问题的完整且绝对完美的解决方案，但为了任何其他可能偶然发现类似跨语言客户端-服务器程序问题的快速初学者的利益，这是我的两分钱:

上述代码中第一个也是最重要的错误是这一行:

 let data = UIImageJPEGRepresentation(image, 1.0)

1) 在这里，我通过将压缩因子设置为 1 将 UIImage 编码为尽可能高的质量。正如我后来检查的那样，这导致创建了计数超过 100000 的字节数组，因此很难通过 TCPClient 套接字轻松快速地发送如此大的数据。

2) 即使TCPClient套接字高效发送了如此大的数组，服务器端的Java DataInputStream也很难一次读取完整的数据。它可能一次只读取小块数据，因此在 Java 服务器端生成的图像是局部的和模糊的。

3)这一行是另一个问题:

   count = in.available();
   if(count>0) System.out.println("LENGTH="+count);
   byte[] arr=new byte[count];
   System.out.println("byte="+arr);
   in.read(arr);

in.available() 方法可能不会返回客户端发送的数据的完整长度。这会导致读取不完整的字节数据，从而导致读取不完整的图像。

解决方案/解决方法(某种)

• 我在 swift 客户端的 UIImageJPEGRepresentation() 方法中将压缩因子降低到大约 0.000005，这导致创建长度约为 5000 的字节数组(这是可管理的)

• 为了避免在服务器端读取不完整数据的问题，我将字节数组转换为 base64String，然后我简单地在该字符串的末尾添加了一个终止字符“%”，在服务器端将标记一个 base64 字符串的结尾。

• 我将服务器端的 DataInputStream/DataOutputStream 更改为 InputStreamReader/OutputStreamWriter，因为我现在要处理字符/字符串。

• Java 服务器的 InputStreamReader 将一次接收一个字符并从中形成一个字符串，直到它遇到终止字符“%”，然后这个 base64 字符串将被转换为字节数组:

  imageBytes=javax.xml.bind.DatatypeConverter.parseBase64Binary(str); 
  //str is a String formed by concatenating characters received by the InputStreamReader 
  

• 然后将这个 imageBytes 数组转换为 BufferedImage，然后一个接一个地绘制在面板上，从而再现原始的 iPhone 直播视频

修改后的Swift代码(ios客户端)

    func captureOutput(_ captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection!)
{


    var cameraImage: CIImage

    var image: UIImage ;
    let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)
    cameraImage = CIImage(cvPixelBuffer: pixelBuffer!)
    let context:CIContext = CIContext.init(options: nil)
    let cgImage:CGImage = context.createCGImage(cameraImage, from: cameraImage.extent)!
    image = UIImage(cgImage: cgImage)
    DispatchQueue.main.async
        {



            self.imageView.image = image //live video captured from camera streamed to the device's own UIImageView


    }





    let thumbnail = resizeImage(image: image, targetSize: CGSize.init(width: 400, height: 400)) // snapshot image from camera resized 

    let data = UIImageJPEGRepresentation(thumbnail,0.000005) //the snapshot image converted into byte data
    let base64String = data!.base64EncodedString(options: Data.Base64EncodingOptions(rawValue: 0))  
    // byte image data is encoded to a base64String

    var encodeImg=base64String.addingPercentEncoding(withAllowedCharacters:  .urlQueryAllowed  )


    encodeImg = encodeImg! + String("%") // termination char % is added at the end
    var sendData = String("0%")
    if(live)
     {
    sendData = encodeImg!
     }
    client?.send(string: sendData!) //sent as a String using TCPClient socket



}

修改了 MobileServer Thread 类的 Java 服务器端 run() 方法

        public void run()
        {
          try{

               boolean access_granted=false;
               while(!stop)
               {

                 char chr=(char)in.read();


                 if(chr!='%')  // read and append char by char from the InputStreamReader "in" until it encounters a '%'
                 str+=Character.toString(chr);

                 else terminate=true;

                 if(terminate)

                 {


                  if(entry)
                  {
                    int a=str.indexOf('&');
                    int b=str.indexOf('#');
                    String username=str.substring(0,a);
                    String password=str.substring((a+1),b);
                    String ip=str.substring((b+1),str.length());
                    System.out.println("IP ADDRESS: \""+ ip+"\"");
                    String usernameA[]=convertToArray(username);
                    String passwordA[]=convertToArray(password);
                    String user=decrypt(usernameA,portt);
                    String pass=decrypt(passwordA,portt);


                    boolean accessGranted=false;
                    int response=dbManager.verify_clientLogin(user,pass);

                if(response==RegisterInfo.ACCESS_GRANTED) { 
                System.out.println("access granted"); 
                 accessGranted=true;
                }
                   int retInt=-1;
                   if(accessGranted) retInt=1;

                   out.write(retInt);

                   entry=false;
                   terminate=false;


                  }
                  else
                  {
                     terminate=false;



                     try {
                  // str includes the original single base64String produced by the swift client app which is converted back to a byte array                              

  imageBytes = javax.xml.bind.DatatypeConverter.parseBase64Binary(str); 
}catch(ArrayIndexOutOfBoundsException l){ exception=true; }
str="";
                      if(!exception)
                       {


         //this byte array image data is converted to a image and played on the videoPlayer, and serial images played would be visible as a video stream
                         vidPlayer.playImage(imageBytes);

                          ioexcep=false;


                        }


                        else exception=false;



                   }
             }






         }





         }catch(Exception l){ l.printStackTrace(); }















        }

• 这是正在播放的视频的屏幕截图:

• 但如您所见，因为从 swift 客户端发送的图像质量很差:制作的视频质量也很差。此外，视频仍然卡在中间......

• 我相信会有更好的方法从 swift 套接字发送更高质量的图像数据，市场上所有这些视频聊天应用程序都证明了这一点，如果有人能对先进的技术有所了解，我会很高兴实现高清图传所涉及的方法

• 一种方法是在客户端和服务器端缓冲字节数据，以传输和播放更高质量的 jpeg 数据