java - 在 JAVA 中使用 BLOB 获得更好的性能

Question

我的问题与如何做某事无关，更多的是如何帮助提高性能。对于这么长的帖子，我深表歉意，但我认为，由于这与性能有关，因此我应该发布有关我正在做的事情的所有详细信息，看看是否有人可以提供帮助。

我必须编写一个程序，从两个不同的数据库获取信息，创建元数据及其相应的 BLOB(pdf 文件)并对其进行压缩。
仅当在数据库中找到 BLOB 对象时才会创建元数据文件。我已经设法做到了这一点，但问题是有时我的查询可能有多达 80k 个结果，并且可能需要长达 20 小时才能完成，考虑到每个 blob 对象不大于 100 KB，这是荒谬的。

我有一个事务数据库(我们称之为 TEQ8P)，其中存储了所有 ID 和元数据信息。我按日期和状态查询数据(这很糟糕，但我没有任何其他过滤器，这是要求)

TEQ8P.openConnection();
Boolean flag = TEQ8P.ExecuteQuery("select tr.legaltransnumber, cc.country_code, tr.transnumber,    tr.postingdate, tr.transdate from EQUATE.transheader tr inner join   companycode_country cc on tr.tocompanycode = cc.company_code where tr.transtype = 'IC' and   tr.transdate between to_date("  + date + ", 'DD/MM/YYYY') and to_date(" + nextday  + ", 'DD/MM  /YYYY')");

public Boolean ExecuteQuery(String query) {
        Statement stmt;
        ResultSet rs = null;
        try {
            stmt = connection.createStatement();
            rs = stmt.executeQuery(query);
            if(!rs.isBeforeFirst())
                return false;
            rowset = new CachedRowSetImpl();
            rowset.populate(rs);
            metadata = rs.getMetaData();              
            rs.close();
            stmt.close();   
            return true;
        } catch (SQLException e) {  
            HLog.error(e.getMessage());
            e.printStackTrace();
            return false;
            //System.out.println(query);            
        }
        finally 
        {
            closeConnection();
        }
}

我使用的是JAVA 1.5(再次按照要求)，所以我从oracle下载了cachedrowsetimp jar，所以一旦我完成查询数据，我将其保存到内存并关闭连接。

之后，我开始遍历缓存行集并查询仓库数据库上的每个 ID。我无法选择“where in”，因为无法判断是否会找到所有 id，并且“in”只会返回它找到的项目，而且我不知道它没有找到哪些项目寻找。但如果您有任何建议，请!

所以我使用preparedStatement在ORACLE上使用绑定(bind)变量并开始写入blob对象。

我的第一个问题，有没有更好的方法来编写 blob 文件？更快的方法？

if(flag)    
    {
        String Query = "select wh.transnumber, wh.image from EQUATEWH.legalimage wh where wh.transnumber = ?";
        WEQ8I.openConnection();
        WEQ8I.setPreparedStmt(Query);
        WEQ8I.WriteBlobs(PDF, TEQ8P.getRowsSet(), IC_FILE);     
        WEQ8I.closePrepStmt();
        WEQ8I.closeConnection();
        FileUtils.createZip(prop.getProperty("ZIPDIR_IC"), lsize, prop.getProperty("ZIPNAME_IC"));  

public void WriteBlobs(String path, CachedRowSetImpl set, IMP_File IC_FILE)
{
    ResultSet rs = null;
    try
    {
        while(set.next())
            {                   
                pstmt.setString(1, set.getString(3));
                rs = pstmt.executeQuery();
                if(!rs.isBeforeFirst())
                {
                    System.out.println("invoice " + set.getString(3) + "was not found on W database");
                    ErrorFile.writeErrorFile(set.getString(3));
                }
                else
                {
                    //getting the name of the PDF file, if no ID use legaltransnumber
                    String ID = set.getString(1);
                    if(ID == null)
                    {
                        ID = set.getString(3);
                    }
                    while(rs.next())
                    {
                        FileOutputStream fos = null;
                        try
                        {
                            Blob blob = rs.getBlob(2);
                            InputStream is = blob.getBinaryStream();
                            fos = new FileOutputStream(path + ID + ".pdf");
                            int i = 0;
                            while ((i = is.read()) != -1) 
                            {
                                fos.write(i);
                            }
                            fos.close();
                            is.close();
                            IC_FILE.fillIMPFile("IC", ID, set.getString(3), set.getString(2), set.getString(5));
                        }catch (Exception e)
                        {
                            e.printStackTrace();
                            ErrorFile.writeErrorFile(set.getString(3));
                        }
                    }                           
                }
                rs.close();                 
            }
        IC_FILE.writeFile();

    } catch (SQLException e)
    {
        System.out.println("Problem when trying to create Record: " + path);
        HLog.error(e.getMessage());
        e.printStackTrace();
        try
        {
            ErrorFile.writeErrorFile(set.getString(3));
        }catch (Exception ex)
        {
            ex.printStackTrace();
            HLog.error(e.getMessage());
        }
    }

}

如果查询在 WarehouseDB 上找到该 ID 的结果，并且图像不为空(意味着它不会出现空异常)，我将创建元数据文件，即 IC_FILE。IC_FILE 不写入文件，它将所有内容保存到内存中，完成后写入文件，我认为这可以帮助提高性能，因为它不必使用 IC_FILE 对每个文件执行一次 I/O 操作.writefile()。

要创建元数据文件，我还必须(再次根据要求)从文件中获取容器名称。要检索容器名称，我必须使用事务数据库中的 3 个字段，将它们连接起来并在该文件中搜索它们。这就是我创建 IMP 文件的方式，首先从每条记录中获取数据:

public void fillIMPFile(String type, String ID, String ID2, String companyCode, String date)
{
    date = date.substring(0, 10);
    date = date.replace("-", "/");
    date = date.substring(5, 7) +  "/" + date.substring(8, 10) + "/" + date.substring(0, 4);
    String Name =  prop.getProperty("NAME");
    String info = prop.getProperty(type);   
    String DOS = Name + info + ID + ".";
    String NOTES = Name + " " + info + " ";
    info += getContainer(companyCode, date, type);


    if(type.equals("IC"))
    {
        String desc = prop.getProperty("DESC_PDF");
        DOS += "pdf";
        NOTES += desc + " " + ID + " " + ID2;

        buffer += info + "\t" + date + "\t" + date + "\t" + DOS + "\t" + NOTES + "\t"
                 + NOTES  + "\t" + ID2;
    }

为了获取容器，我使用了属性对象，但我想可能还有更好的选择？也许是 HashMap ？

public String getContainer(String companyCode, String Date, String type)
{
    Calendar cal = Calendar.getInstance();
    SimpleDateFormat sdf = new SimpleDateFormat("yyyy");
    Date = sdf.format(cal.getTime());
    //mal siempre pondra 2012
    String data = type + companyCode + Date;
    String container = containers.getProperty(data);

    if(container == null)
    {
        data = type + "WW" + Date;
        container = containers.getProperty(data);
    }
    return container;
}

最终写入文件:

public void writeFile()
{
    try
    {
        FileWriter fw = new FileWriter(File, true);
        BufferedWriter bw = new BufferedWriter(fw);
        bw.write(buffer);
        bw.close();
    }catch (IOException e)
    {
        e.printStackTrace();
        HLog.error(e.getMessage());
    }
}

谢谢!!丹尼尔

Answer 1

已修复...使用绑定(bind)变量并每年创建超过 1 个容器文件