java - 使用 Java (HTMLUnit) 抓取网页，然后将结果写入 mySQL 数据库

Question

我已经能够使用 Java 和 HTMLUnit 来抓取网页，但是我不确定如何将结果数据写入远程托管服务器上的 MySQL 数据库。如果可能的话，我还需要定期(也许每天一次)进行此操作，而无需手动运行程序。

这可能吗？我能否获得有关如何执行此操作的任何指导(无论是否彻底)？

谢谢!

Answer 1

将页面的 HTML 放入某个字符串变量

String scrapedHtml = "";

在mysql中创建一个带有text字段的表

create table html_store (
     id int primary key autoincrement,
     content text not null
);

使用 JDBC 代码连接数据库并插入数据。正确设置connectionURL等参数

Connection conn = DriverManager.getConnection(connectionURL, user, password);
PreparedStatement pstmt = 
    conn.prepareStatement("insert into html_store (content) values (?)");
pstmt.setString(1, scrapedHtml); 
pstmt.executeUpdate();
pstmt.close();
conn.close();