sqlite - 如何将SQLite数据库导入Hadoop HDFS

Question

我想将 SQLite 数据库导入到 hadoop hdfs 中。这些数据库来自移动应用程序数据库，我想每天将多个数据库导入 HDFS。

Answer 1

您可以尝试使用 Sqoop 将您的数据库导入到 HDFS。

试试这个(在安装 sqoop 并进行必要的配置之后):

sqoop import --connect jdbc:sqlite:/path/to/database/databasename.db --table tablename --m 1 --target-dir /directory/name/in/hdfs --driver org.sqlite.JDBC

NOTE: You will need to download and copy sqlite-jdbc-x.x.x.jar to your Sqoop lib and Hadoop lib folder.

您还需要将 sqlite-jdbc-x.x.x.jar 添加到您的 hadoop 类路径中(以防出现找不到类的错误)。在您的 hadoop-env.sh 中添加此行:

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/full/path/to/sqlite/jar

如果你的 /usr/local/sqlite 文件夹中有 sqlite-jdbc-3.7.2.jar，那么添加如下:

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/sqlite/sqlite-jdbc-3.7.2.jar