scala - 在IntelliJ IDEA中编译时，Spark SQL没有SparkSqlParser.scala文件

Question

我已经在Red Hat 64中安装了spark-hadoop env。我还想在intelliJ idea 的 spark源代码项目中读写代码。我已经下载了spark源代码，并准备就绪。但是在IntelliJ idea中编译spark项目时遇到了一些错误。
错误如下:

/home/xuch/IdeaProjects/spark/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/CatalystQI.scala

Error:(809, 34) not found: value SparkSqlParser case ast if ast.tokenType == SparlSqlParser.TinyintLiteral =>

Error:(812, 34) not found: value SparkSqlParser case ast if ast.tokenType == SparlSqlParser.SmallintLiteral =>

... ...

但是实际上我没有在整个项目中找到名为 SparkSqlParser.scala 的文件，也没有找到名为SparkSqlParser的scala类。

但是，我在网上搜索了一些名为SparkSqlParser.scala的文件，但它们没有诸如“TinyintLiteral”，“SmallintLiteral”等属性。
这是文件链接:

https://github.com/yjshen/zzzzobspk/blob/master/sql/core/src/main/scala/org/apache/spark/sql/SparkSQLParser.scala

https://apache.googlesource.com/spark/+/c152dde78f73d5ce3a483fd60a47e7de1f1916da/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/SparkSQLParser.scala

Answer 1

我遇到同样的问题。这是我的解决方案:

下载IntelliJ的antlr4(即antlr v4)插件。然后您可以看到文件“spark-2.0.1\sql\catalyst\src\main\antlr4\org\apache\spark\sql\catalyst\parser\SqlBase.g4”可以被IntelliJ IDEA识别。

导航到“ View ”->“工具窗口”->“Maven项目”选项卡。选择项目“Spark Project Catalyst”。右键单击它。然后选择“生成源并更新文件夹”

之后，您可以看到一些文件已添加到“spark-2.0.1\sql\catalyst\target\generated-sources\antlr4”中

然后，您可以构建成功的项目。

希望它能对您有所帮助。