java.lang.OutOfMemory错误: Java heap space error during bulk insert to mysql database?

Question

package textfileimport;
import catalog.Root;
import java.io.*;
import java.sql.PreparedStatement;

public class Textfileimport {


    public static void main(String[] args)throws Exception {


        Root oRoot = null;

        PreparedStatement oPrStmt = null;

        FileReader in = null;

        BufferedReader br=null;

        try {
            oRoot = Root.createDbConnection(null);  
            in = new FileReader("C:/Users/i2cdev001/Desktop/snomedinfo_data.txt");      

            br = new BufferedReader(in);
            String strLine;

            while ((strLine = br.readLine()) != null){

                String [] splitSt =strLine.split("\\t");
                String dat1="",dat2="",dat3="",dat4="",dat5="",dat6="",dat7="",dat8="",dat9="";
                dat1=splitSt[0];
                dat2=splitSt[1];
                dat3=splitSt[2];
                dat4=splitSt[3];
                dat5=splitSt[4];
                dat6=splitSt[5];
                dat7=splitSt[6];
                dat8=splitSt[7];
                dat9=splitSt[8];        

                String sql = "INSERT INTO textfiledata (col1,col2,col3,col4,col5,col6,col7,col8,col9) VALUES( ?, ?, ?,?,?,?,?,?,?)";
                oPrStmt = oRoot.con.prepareStatement(sql);
                oPrStmt.setString(1, dat1);
                oPrStmt.setString(2,dat2);
                oPrStmt.setString(3, dat3);
                oPrStmt.setString(4, dat4);  
                oPrStmt.setString(5, dat5);
                oPrStmt.setString(6, dat6);
                oPrStmt.setString(7, dat7);
                oPrStmt.setString(8, dat8);
                oPrStmt.setString(9, dat9);
                oPrStmt.executeUpdate();
            }

            System.out.println("sucessfully imported");
        }
        catch (Exception e) {
            System.err.println("Error: " + e.getMessage());
            e.printStackTrace();
        } finally {
            oPrStmt = Root.EcwClosePreparedStatement(oPrStmt);
            br.close();
            in.close();
            oRoot = Root.closeDbConnection(null, oRoot);
        }
    }

}

iam 尝试从文本文件中读取大约 1383709 行并将它们插入到我的 mysql 表中。运行此应用程序时出现 java 堆空间错误。我该如何解决此问题。我已经尝试在 eclipse 的配置菜单中设置 VM 参数，但没有成功。

Answer 1

使用一个简单的文本扫描器，它可以使用正则表达式解析原始类型和字符串，而不是使用字符串操作和缓冲读取器。这应该使用更少的内存。如果不是多线程，扫描程序是安全的，并且可以在不同步的情况下使用。

还可以尝试使用批处理执行，如下所示。

final FileInputStream fileInputStream = null;
final Scanner inputScanner = null;
final String sql = "INSERT INTO textfiledata (col1,col2,col3,col4,col5,col6,col7,col8,col9) VALUES( ?, ?, ?,?,?,?,?,?,?)";
oPrStmt = db.prepareStatement(sql);
db.setAutoCommit(false); 
try {
    fileInputStream = new FileInputStream(path);
    inputScanner = new Scanner(fileInputStream);
    while (inputScanner.hasNextLine()) {
        String line = inputScanner.nextLine();
        Scanner s = new Scanner(line).useDelimiter("\\t");
        int i =1;
        while(s.hasNext()) {
         String dat = s.next();
         oPrStmt.setString(i++,dat);
        }
        oPrStmt.addBatch();
        s.close();
    }
    if (inputScanner.ioException() != null) {
        throw inputScanner.ioException();
    }
    oPrStmt.executeBatch();
    db.commit();
    } catch (Exception e) {
        System.err.println("Error: " + e.getMessage());
        e.printStackTrace();
    }  finally {
       if (fileInputStream != null) {
         fileInputStream.close();
       }
       if (inputScanner != null) {
         inputScanner.close();
       }
       oPrStmt.close();
       db.close();
}