scala - 是否可以在Eclipse IDE的Spark上运行hive？

Question

我一直在尝试使用Apache Spark Framework开发Spark程序。
我想实例化HiveContext而没有任何集群。
是否可以使用HiveContext并通过Eclipse Scala IDE在本地运行它而不使用任何集群？

Answer 1

有可能吗？当然...(重点已添加)

To use a HiveContext, you do not need to have an existing Hive setup, and all of the data sources available to a SQLContext are still available.

但是，您需要编译一些其他代码。

HiveContext is only packaged separately to avoid including all of Hive’s dependencies in the default Spark build. If these dependencies are not a problem for your application then using HiveContext is recommended

但是，如果您只是在没有任何集群的情况下编写Spark，则没有任何东西可以让您使用Spark 1.x，而应该使用带有 SparkSession的Spark 2.x作为与SQL相关的事物的入口点。

Eclipse IDE无关紧要。您还可以使用IntelliJ ...或不使用IDE并 spark-submit任何包含一些Spark代码的JAR文件...