java - 在Java中将从两个数据库提取的对象列表写入txt文件的最快方法

Question

我有一个搜索列表的函数，对于列表中的每个项目，我都有另一个列表。这两个列表必须转换为文本文件才能导入到软件中。我遇到的问题是速度很慢...

我的第一个列表大约有 500 条记录，该列表中的每条记录都有另一个列表，范围可以从 1 条记录到无穷大。这大约需要 20 分钟才能完成。 当我评论更新(更新 2 个列表中每个项目的状态)时，时间下降到 9 分钟。

有人可以帮助我吗？

private String getExportacaoApontamento(
            String idsExportar,
            String dataInicial,
            String dataFinal,
            String status,
            String tipoFiltro,
            String filtro,
            String turma,
            boolean exportarTodos) throws SQLException {
        StringBuilder stringBuilder = new StringBuilder();        

        try (
                Connection conMySql = U_Conexao.getConexaoMySQL();
                Connection conOracle = U_Conexao.getConexaoOracle()) {

            if (conMySql != null) {
                List<C_Sequencia> listSequencia;
                R_Sequencia r_Sequencia = new R_Sequencia(conMySql, null);

                if (status.equals(String.valueOf(C_Status.TODOS))) {
                    status = C_Status.PENDENTE + ", " + C_Status.EXPORTADO;
                }

                String orderBy = "S." + C_Sequencia.DATA + ", S." + C_Sequencia.COD_COLETOR + ", S." + C_Sequencia.COD_FISCAL;

                if (exportarTodos == false) {
                    listSequencia = r_Sequencia.listExportarId(idsExportar, dataInicial, dataFinal, orderBy);
                } else {
                    tipoFiltro = verificarFiltroApontamento(tipoFiltro);

                    if (filtro == null || filtro.isEmpty()) {
                        listSequencia = r_Sequencia.listExportarData(dataInicial, dataFinal, status, turma, orderBy);
                    } else {
                        listSequencia = r_Sequencia.listExportarFiltro(dataInicial, dataFinal, tipoFiltro, filtro, status, turma, orderBy);
                    }
                }

                if (!listSequencia.isEmpty()) {

                    if (!verificarLiberacoes(listSequencia, conMySql, conOracle)) {
                        return "-1";
                    }

                    C_Sequencia seqAntiga = null;
                    R_Producao r_Producao = new R_Producao(conMySql, conOracle);

                    for (C_Sequencia sequencia : listSequencia) {

                        C_Sequencia seqNova = sequencia;

                        String retornoSequencia = gerarSequencia(seqAntiga, seqNova);

                        if (!retornoSequencia.isEmpty()) {
                            stringBuilder.append(retornoSequencia);                             
                        }

                        List<C_Producao> listProducao = r_Producao.getProducaoExportar(sequencia.getChave(), status);
                        for (C_Producao producao : listProducao) {
                            DecimalFormat decimal = new DecimalFormat("########.00");
                            String prod = String.valueOf(decimal.format(Double.parseDouble(producao.getProducao())));
                            String meta = String.valueOf(decimal.format(Double.parseDouble(producao.getMeta())));
                            prod = prod.replace(",", "");
                            meta = meta.replace(",", "");
                            stringBuilder.append("02;")
                                    .append(String.format("%5d", producao.getCodColetor())).append(";")
                                    .append(U_DataHora.formatarData(producao.getDataHora(), U_DataHora.DDMMYYYY_HHMMSS, U_DataHora.DDMMYYYY)).append(";")
                                    .append(String.format("%10d", producao.getFuncionario().getMatricula())).append(";")
                                    .append(String.format("%9d", sequencia.getCodCc())).append(";")
                                    .append(String.format("%4d", sequencia.getCodOp())).append(";")
                                    .append(String.format("%4d", sequencia.getCodOp())).append(";")
                                    .append("      ;")
                                    .append(String.format("%6d", Long.parseLong(sequencia.getCodFazenda()))).append(";")
                                    .append(String.format("%6d", Long.parseLong(sequencia.getCodTalhao()))).append(";")
                                    .append(String.format("%10s", prod)).append(";")
                                    .append("        0000000;")
                                    .append(";")
                                    .append("          ;")
                                    .append(String.format("%9s", meta)).append(";")
                                    .append(String.format("%4d", sequencia.getCodSequencia())).append(";")
                                    .append(" ;")
                                    .append(" ;")
                                    .append("     ;")
                                    .append("     ;")
                                    .append(" ;")
                                    .append(" ;")
                                    .append(String.format("%9d", sequencia.getCodOs())).append(";")
                                    .append("\r\n");

                            if (producao.getStatus().getStatus() != C_Status.EXPORTADO) {
                                r_Producao.atualizarStatus(producao.getChave(), C_Status.EXPORTADO); // Atualiza status para exportado
                            }
                        }

                        // Atualiza o status de todas as produções da sequencia da posição atual
                        //r_Producao.atualizaStatusProducoesPorChaveSequencia(sequencia.getChave(), C_Status.EXPORTADO); 

                        seqAntiga = seqNova;

                        if (sequencia.getStatus().getStatus() != C_Status.EXPORTADO) {
                            r_Sequencia.atualizarStatus(sequencia.getChave(), C_Status.EXPORTADO); // Atualiza status para exportado
                        }
                    }
                }
            }
        } catch (Exception e) {
            U_Log.erro(TAG, e.toString());
            return e.toString();
        }
        return stringBuilder.toString();
    }

private String gerarSequencia(C_Sequencia seqAntiga, C_Sequencia seqNova) {
        StringBuilder sequenciaBuilder = new StringBuilder();
        String texto = sequenciaBuilder.append("01;")
                .append(String.format("%5d", seqNova.getCodColetor())).append(";")
                .append(U_DataHora.formatarData(seqNova.getData(), U_DataHora.DDMMYYYY_HHMMSS, U_DataHora.DDMMYYYY)).append(";")
                .append(String.format("%10d", seqNova.getCodFiscal())).append(";")
                .append(String.format("%10d", seqNova.getCodFiscal())).append(";")
                .append("\r\n").toString();

        if (seqAntiga != null) {
            if (!seqAntiga.getData().equals(seqNova.getData())
                    || !Objects.equals(seqAntiga.getCodColetor(), seqNova.getCodColetor())
                    || !Objects.equals(seqAntiga.getCodFiscal(), seqNova.getCodFiscal())) {

                return texto;

            } else {
                return "";
            }
        } else {
            return texto;
        }
    }

Result here

这里我评论了数据库中的更新

for (C_Sequencia sequencia : listSequencia) {
  ...
  for (C_Producao producao : listProducao) {
    ... 
    // update status in DB
    if (producao.getStatus().getStatus() != C_Status.EXPORTADO) {
      r_Producao.atualizarStatus(producao.getChave(), C_Status.EXPORTADO);
    }
  }
 // update status in DB
 if (sequencia.getStatus().getStatus() != C_Status.EXPORTADO) {
   r_Sequencia.atualizarStatus(sequencia.getChave(), C_Status.EXPORTADO); 
 }
}

结果:总时间 9 分钟

现在，我评论了我构建字符串的部分

for (C_Sequencia sequencia : listSequencia) {
      ...
      // here build a part of the string in method " gerarSequencia "
      // i commented a part inside method " gerarSequencia "
      String retornoSequencia = gerarSequencia(seqAntiga, seqNova);
      ...

      for (C_Producao producao : listProducao) {
        ... 
        // Here i commented another part of the string
         ...
      }
 }

结果:总时间为 14 分钟 -实际上仅运行更新行

Answer 1

我解决了我的问题。我改变了逻辑。实际的问题是在数据库中执行了许多 SELECT，这使得速度非常慢。现在是单个 SELECT。现在总时间为6 秒。