java - 使用 BlockingQueue 下载 PDF 文件

Question

我正在尝试使用 URLConnection 下载 pdf 文件。以下是我设置连接对象的方式。

URL serverUrl = new URL(url);
urlConnection = (HttpURLConnection) serverUrl.openConnection();
urlConnection.setDoInput(true);
urlConnection.setRequestMethod("GET");
urlConnection.setRequestProperty("Content-Type", "application/pdf");
urlConnection.setRequestProperty("ENCTYPE", "multipart/form-data");
String contentLength = urlConnection.getHeaderField("Content-Length");

我从连接对象中获得了输入流。

bufferedInputStream = new BufferedInputStream(urlConnection.getInputStream());

和写入文件内容的输出流。

File dir = new File(context.getFilesDir(), mFolder);
if(!dir.exists()) dir.mkdir();
final File f = new File(dir, String.valueOf(documentName));
f.createNewFile();
final BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(new FileOutputStream(f, true)); //true for appendMode

创建 BlockingQueue 以便执行读写操作的线程可以访问队列。

final BlockingQueue<ByteArrayWrapper> blockingQueue = new ArrayBlockingQueue<ByteArrayWrapper>(MAX_VALUE,true);
final byte[] dataBuffer = new byte[MAX_VALUE];

现在创建线程从 InputStream 读取数据。

Thread readerThread = new Thread(new Runnable() {
       @Override
       public void run() {
         try {
            int count = 0;
            while((count = bufferedInputStream.read(dataBuffer, 0, dataBuffer.length)) != -1) {
                 ByteArrayWrapper byteArrayWrapper = new ByteArrayWrapper(dataBuffer);
                 byteArrayWrapper.setBytesReadCount(count);
                 blockingQueue.put(byteArrayWrapper);
             }
             blockingQueue.put(null); //end of file
          } catch(Exception e) {
                 e.printStackTrace();
          } finally {
              try {
                 bufferedInputStream.close();
              } catch (IOException e) {
                  e.printStackTrace();
              }
          }
       }
 });

现在写入线程读取这些文件内容。

Thread writerThread = new Thread(new Runnable() {
       @Override
       public void run() {
         try {
            while(true) {
               ByteArrayWrapper byteWrapper = blockingQueue.take();
               if(null == byteWrapper) break;
               bufferedOutputStream.write(byteWrapper.getBytesRead(), 0, byteWrapper.getBytesReadCount());
             }
             bufferedOutputStream.flush();
         } catch(Exception e) {
              e.printStackTrace();
         } finally {
              try {
                 bufferedOutputStream.close();
              } catch (IOException e) {
                  e.printStackTrace();
              }
         }
      }
});

最后，线程启动。

readerThread.start();
writerThread.start();

理论上它应该从 InputStream 中读取文件并将其保存到目标文件中。但是，实际上，它会生成空白的 pdf 文件。其他时候，它显示无效的pdf格式异常。文件大小与 InputStream 的内容长度匹配。有什么我想念的吗？

Answer 1

我不熟悉 ByteArrayWrapper。它是否只包含对数组的引用，就像这样？

public class ByteArrayBuffer {
    final private byte[] data;

    public ByteArrayBuffer(byte[] data) {
        this.data = data;
    }

    public byte[] getBytesRead() {
        return data;
    }

    /*...etc...*/
} 

如果是这样。这就是问题所在:所有 ByteArrayWrapper 对象都由同一个数组支持。被作者反复覆盖。尽管 BlockingQueue 做了艰苦的工作，将每个对象从一个线程安全地发布到另一个线程。

最简单的修复可能是使 ByteArrayWrapper 有效地不可变，即在将它发布到另一个线程后不要更改它。在构造时获取数组的副本是最简单的:

public ByteArrayWrapper(byte[] data) {
    this.data = Arrays.copyOf(data, data.length);
}

另一个问题是“BlockingQueue 不接受空元素”(参见 BlockingQueue docs )，因此“输入结束”标记值不起作用。将 null 替换为

private static ByteArrayWrapper END = new ByteArrayWrapper(new byte[]{});

在适当的地方会解决这个问题。

通过对代码副本进行这些更改，我能够检索到 PDF 文件的忠实副本。