azure - 在 HDInsight 上使用 HQL 文件时出现 ParseException

Question

我正在关注本教程 http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-hive/但在更改查询源以使用文件时陷入困境。

当使用 New-AzureHDInsightHiveJobDefinition -Query $queryString 时，一切都很顺利，但是当我尝试 New-AzureHDInsightHiveJobDefinition -File "/example.hql" 与 example .hql 存储在 blob 容器的“根”中，我在标准错误中得到 ExitCode 40000 和以下内容:

Logging initialized using configuration in file:/C:/apps/dist/hive-0.11.0.1.3.7.1-01293/conf/hive-log4j.properties
FAILED: ParseException line 1:0 character 'Ã?' not supported here
line 1:1 character '»' not supported here
line 1:2 character '¿' not supported here

即使我故意拼错 hql 文件名，仍然会生成上述错误以及预期的文件未找到错误，因此导致错误的不是 hql 的内容。

我无法在 blob 存储中找到 hive-log4j.properties 以查看它是否已损坏，我已拆除 HDInsight 群集并删除关联的 blob 存储并再次启动，但最终得到相同的结果。

非常感谢您的帮助!

Answer 1

我可以通过输入 Utf-8 来引发类似的错误或Unicode将 .hql 文件编码到 blob 存储中并尝试运行它。尝试在记事本中将 example.hql 文件另存为“ANSI”(打开，“另存为”和编码选项位于对话框底部)，然后将其复制到 Blob 存储并重试。

如果在 Start-AzureHDInsightJob 上找不到该文件，则该 cmdlet 会出错并且不会返回新的 AzureHDInsightJob 对象。如果保存了结果的先前实例，则后续的 Wait-AzureHDInsightJob 和 Get-AzureHDInsightJobOutput 将引用先前的运行，从而给未找到情况带来相同错误的错觉。该错误肯定表明在非预期情况下读取 UTF-8 或 Unicode 文件时出现问题。