hadoop - 是否可以使用 spark 的 jdbc 驱动程序将 apache spark 与 jasper 集成？

Question

我们想使用 apache spark 进行实时分析？我们目前使用 hive/MR 进行数据处理，使用 mysqlsql 存储聚合结果，使用 jasper 报告进行分析？由于 mysql 的可伸缩性问题，这种方法远非理想。我们正在探索 apache spark 在 hdfs 或 cassandra 之上运行，唯一的问题是是否有办法让 spark 与 jasper 服务器集成？如果不是，还有哪些其他 UI 选项可以与 spark 一起使用？

Answer 1

我找到了共享的答案和想法，如果你将 hive metastore 与 spark 一起使用，你可以将 RDD 持久化为 hive 表，一旦你这样做了，任何使用 hive:jdbc2 协议(protocol)的客户端都可以使用 spark 运行 hive 或 sql 之类的查询执行引擎。 这些是步骤 - 1)配置spark使用mysql作为metastore数据库。 2)复制spark conf目录下的hive-site.xml，指向mysql数据库。 3) 启动 thrift 服务，您可以使用 $SPARK_HOME/sbin/start-thrift.sh 执行此操作，如果成功启动它会在端口 10000 上监听。 4) 使用像 beeline 这样的客户端来测试它，它位于 $SPARK_HOME/bin 目录下。 5) 从直线使用此 url - !connect hive:jdbc2://localhost 10000(无用户名或密码) 6) 运行任何配置单元创建或选择查询。 7)如果它运行，恭喜! ，使用与上述 jasper 相同的 url(!connect hive:jdbc2://localhost 10000，用 ip 替换 localhost)使用 hive:jdbc2 。