- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我对多线程编码完全陌生。
这是我的要求:我有一个包含 50 000 - 300 000 条记录的文件。
它是基于列的数据(4 列),以空格作为分隔符。我需要使用空格分割行并将记录保存在 DB 中的 4 列中。
我想开发一个多线程应用程序,它将数据插入到具有 4 列的 H2 DB(使用 JDBC/其他什么?),大约需要 2 秒。我需要根据收到的记录数动态更改线程池大小。
我正在使用 Java Swings 开发桌面应用程序。 (不是基于网络的应用程序)
我不知道是否有更好的并发类可以更快地完成此任务。
如果不是多线程,还有其他办法吗?或任何其他框架?
添加批处理后,大约需要 5 秒,处理 250,000 条记录:
BufferedReader in = new BufferedReader(new FileReader(file));
java.util.List<String[]> allLines = new ArrayList<String[]>(); // used for something else
String sql = "insert into test (a, b, c, d)” +
" values (?,?,?,?)";
PreparedStatement pstmt = conn.prepareStatement(sql);
int i=0;
while ((line = in.readLine()) != null) {
line = line.trim().replaceAll(" +", " ");
String[] sp = line.split(" ");
String msg = line.substring(line.indexOf(sp[5]));
allLines.add(new String[]{sp[0] + " " + sp[1], sp[4], sp[5], msg});
pstmt.setString(1, sp[0] + " " + sp[1]);
pstmt.setString(2, sp[4]);
pstmt.setString(3, sp[5]);
pstmt.setString(4, msg);
pstmt.addBatch();
i++;
if (i % 1000 == 0){
pstmt.executeBatch();
conn.commit();
}
}
pstmt.executeBatch();
最佳答案
通过以下方式改进逻辑:
PreparedStatement
的实例上创建并在每次插入时使用它这可以通过以下方式完成:
private PreparedStatement pstmt;
public BatchInsertion(String sql) throws SQLException{
pstmt = conn.prepareStatement(sql)
}
public int insert(String a, String b, String c, String d) throws SQLException{
pstmt.setString(1, a);
pstmt.setString(2, b);
pstmt.setString(3, c);
pstmt.setString(4, d);
pstmt.addBatch();
return batchSize++;
}
public void sendBatch() throws SQLException{
pstmt.executeBatch();
}
在那里,您只需要管理该实例的插入,当您到达最后一个项目或说批处理中的 1000 个项目时,发送它。
我用它来不强制插入 Collection
首先。
注意:最后需要关闭语句,我会实现AutoCloseable
在这样的类上执行此操作,并且您需要尝试使用资源才能安全。
如果您需要多线程此插入。我建议采用以下架构:
创建一个线程池,每个线程池都会有一个连接和一批插入数据。使用一个队列来插入从文件中推送数据。每个线程都会获取一个值并将其添加到批处理中。
通过这种架构,您可以轻松增加线程数量。
一、轻量化BatchInsert
类能够使其运行:
class BatchInsert implements AutoCloseable {
private int batchSize = 0;
private final int batchLimit;
public BatchInsert(int batchLimit) {
this.batchLimit = batchLimit;
}
public void insert(String a, String b, String c, String d) {
if (++batchSize >= batchLimit) {
sendBatch();
}
}
public void sendBatch() {
System.out.format("Send batch with %d records%n", batchSize);
batchSize = 0;
}
@Override
public void close() {
if (batchSize != 0) {
sendBatch();
}
}
}
然后,我使用某种平衡器来提供一个队列和一些 Thread
共享同一个队列。
class BalanceBatch {
private final List<RunnableBatch> threads = new ArrayList<>();
private Queue<String> queue = new ConcurrentLinkedQueue<>();
private static final int BATCH_SIZE = 50_000;
public BalanceBatch(int nbThread) {
IntStream.range(0, nbThread).mapToObj(i -> new RunnableBatch(BATCH_SIZE, queue)).forEach(threads::add);
}
public void send(String value) {
queue.add(value);
}
public void startAll() {
for (RunnableBatch t : threads) {
new Thread(t).start();
}
}
public void stopAll() {
for (RunnableBatch t : threads) {
t.stop();
}
}
}
然后我实现读取这些可运行实例的队列的逻辑。他们的想法是读取队列并将其发送到批处理,直到队列为空并收到命令“STOP”。
class RunnableBatch implements Runnable {
private boolean started = true;
private Queue<String> queue;
private int batchLimit;
public RunnableBatch(int batchLimit, Queue<String> queue) {
this.batchLimit = batchLimit;
this.queue = queue;
}
@Override
public void run() {
try (BatchInsert batch = new BatchInsert(batchLimit)) {
while (!queue.isEmpty() || started) {
String s = queue.poll();
if (s == null) {
try {
Thread.sleep(10);
} catch (InterruptedException e) {
}
} else {
String[] values = s.split(";");
batch.insert(values[0], values[1], values[2], values[3]);
}
}
}
}
public void stop() {
started = false;
}
}
我通过基本测试尝试了这个
public static void main(String[] args) throws IOException {
createDummy("/tmp/data.txt", 25_000_000);
BalanceBatch balance = new BalanceBatch(10);
balance.startAll();
try (Stream<String> stream = Files.lines(Paths.get("/tmp/data.txt"))) {
stream.forEach(balance::send);
} catch (Exception e1) {
e1.printStackTrace();
}
balance.stopAll();
}
public static void createDummy(String file, int nbLine) throws IOException {
Files.write(Paths.get(file), (Iterable<String>) IntStream.range(0, nbLine).mapToObj(i -> String.format("A%d;B%d;C%d;D%d", i, i, i, i))::iterator);
}
这将打印发送的每一批,并显示最后一批将是相当随机的,因为余额不是“恒定的”。示例:10 个线程,每批 50k 条记录:
Send batch with 50000 records
...
Send batch with 50000 records
Send batch with 15830 records
Send batch with 15844 records
Send batch with 2354 records
Send batch with 14654 records
Send batch with 40181 records
Send batch with 44994 records
Send batch with 38376 records
Send batch with 17187 records
Send batch with 27047 records
Send batch with 33533 records
警告:createDummy
函数将创建一个包含 25_000_000 行的文件(我已对其进行了评论)。这大约是一个 1GB 数据的文件
我需要更多时间来做一些基准测试,目前我没有任何用于大规模插入的数据库。
<小时/>混合使用这个多线程文件读取器和批处理应该会给你带来好的结果。
请注意,这可能不是多线程的最佳实现,我从来没有研究过这个主题。我愿意接受建议/改进。
关于java - 处理文件和数据库插入的最快方法 - Java 多线程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49811474/
我正在编写一个具有以下签名的 Java 方法。 void Logger(Method method, Object[] args); 如果一个方法(例如 ABC() )调用此方法 Logger,它应该
我是 Java 新手。 我的问题是我的 Java 程序找不到我试图用作的图像文件一个 JButton。 (目前这段代码什么也没做,因为我只是得到了想要的外观第一的)。这是我的主课 代码: packag
好的,今天我在接受采访,我已经编写 Java 代码多年了。采访中说“Java 垃圾收集是一个棘手的问题,我有几个 friend 一直在努力弄清楚。你在这方面做得怎么样?”。她是想骗我吗?还是我的一生都
我的 friend 给了我一个谜语让我解开。它是这样的: There are 100 people. Each one of them, in his turn, does the following
如果我将使用 Java 5 代码的应用程序编译成字节码,生成的 .class 文件是否能够在 Java 1.4 下运行? 如果后者可以工作并且我正在尝试在我的 Java 1.4 应用程序中使用 Jav
有关于why Java doesn't support unsigned types的问题以及一些关于处理无符号类型的问题。我做了一些搜索,似乎 Scala 也不支持无符号数据类型。限制是Java和S
我只是想知道在一个 java 版本中生成的字节码是否可以在其他 java 版本上运行 最佳答案 通常,字节码无需修改即可在 较新 版本的 Java 上运行。它不会在旧版本上运行,除非您使用特殊参数 (
我有一个关于在命令提示符下执行 java 程序的基本问题。 在某些机器上我们需要指定 -cp 。 (类路径)同时执行java程序 (test为java文件名与.class文件存在于同一目录下) jav
我已经阅读 StackOverflow 有一段时间了,现在我才鼓起勇气提出问题。我今年 20 岁,目前在我的家乡(罗马尼亚克卢日-纳波卡)就读 IT 大学。足以介绍:D。 基本上,我有一家提供簿记应用
我有 public JSONObject parseXML(String xml) { JSONObject jsonObject = XML.toJSONObject(xml); r
我已经在 Java 中实现了带有动态类型的简单解释语言。不幸的是我遇到了以下问题。测试时如下代码: def main() { def ks = Map[[1, 2]].keySet()
一直提示输入 1 到 10 的数字 - 结果应将 st、rd、th 和 nd 添加到数字中。编写一个程序,提示用户输入 1 到 10 之间的任意整数,然后以序数形式显示该整数并附加后缀。 public
我有这个 DownloadFile.java 并按预期下载该文件: import java.io.*; import java.net.URL; public class DownloadFile {
我想在 GUI 上添加延迟。我放置了 2 个 for 循环,然后重新绘制了一个标签,但这 2 个 for 循环一个接一个地执行,并且标签被重新绘制到最后一个。 我能做什么? for(int i=0;
我正在对对象 Student 的列表项进行一些测试,但是我更喜欢在 java 类对象中创建硬编码列表,然后从那里提取数据,而不是连接到数据库并在结果集中选择记录。然而,自从我这样做以来已经很长时间了,
我知道对象创建分为三个部分: 声明 实例化 初始化 classA{} classB extends classA{} classA obj = new classB(1,1); 实例化 它必须使用
我有兴趣使用 GPRS 构建车辆跟踪系统。但是,我有一些问题要问以前做过此操作的人: GPRS 是最好的技术吗?人们意识到任何问题吗? 我计划使用 Java/Java EE - 有更好的技术吗? 如果
我可以通过递归方法反转数组,例如:数组={1,2,3,4,5} 数组结果={5,4,3,2,1}但我的结果是相同的数组,我不知道为什么,请帮助我。 public class Recursion { p
有这样的标准方式吗? 包括 Java源代码-测试代码- Ant 或 Maven联合单元持续集成(可能是巡航控制)ClearCase 版本控制工具部署到应用服务器 最后我希望有一个自动构建和集成环境。
我什至不知道这是否可能,我非常怀疑它是否可能,但如果可以,您能告诉我怎么做吗?我只是想知道如何从打印机打印一些文本。 有什么想法吗? 最佳答案 这里有更简单的事情。 import javax.swin
我是一名优秀的程序员,十分优秀!