csv - Hive 查询 - FAILED SemanticException 无效路径

Question

这是我的问题:

在我用完第一组免费积分后，我刚刚将最初的 Azure 订阅转换为即用即付订阅(第一次是 30 天试用版)。现在一切又恢复正常了 - 我仍然拥有相同的旧资源组，在该资源组下建立了一个新集群。包含 CSV 数据的文件仍然存在于我上次创建的容器中(不是默认容器，而是之前建立的容器)。我唯一需要重新创建的是加载数据所需的 Hive 表。我也能够再次建立该表。但是，当我尝试运行 Hive 查询以将数据从 CSV 文件实际加载到 Hive 表中时，如下所示...

LOAD DATA INPATH '/container1/HdiSamples/user/data-file.csv' OVERWRITE INTO TABLE default.hive_table;

...我不断收到“失败”错误消息(我使用 VS 的数据湖工具上传 blob 并运行查询)。在特定错误日志中，以“FAILED: SemanticException etc.”开头的行每次都脱颖而出...(尽管使用不同的位置进行文件上传)。

16/12/01 04:16:25 警告 conf.HiveConf:名称 hive.log.dir 的 HiveConf 不存在失败:SemanticException 第 1:17 无效路径“/container1/HdiSamples/user/data-file.csv”:没有与路径 wasb://[email protected] 匹配的文件/container1/HdiSamples/user/data-file.csv

这是我的问题:

谁能告诉我为什么它无法在文件实际所在的位置找到并加载文件...？

我只是不明白这个错误的原因......

Answer 1

虽然我问这个问题已经有一段时间了，但我自己解决了这个问题，我想，我会与其他人分享......

我遇到了大约一周的问题，无法将数据从 Azure Blob 存储加载到 Hive 表中。我的 blob 中有两个名为 data-file.csv 和 data-file-extended-1.CSV 的 CSV 文件。请注意此处文件扩展名中的大写字母!

Hive 和 Hadoop 不接受这些文件，除非......a) 文件名的拼写完全与文件扩展名中的大写相同和b) 文件名被大幅缩短，并且没有连字符和数字(在我的例子中，我只使用了 6 个连体字母，即“datfil”和“datfix”)

令人震惊的是，Azure 官方文档中没有提到这些问题，我在网上也没有找到任何内容。但是，这两项调整将解决该错误消息。

只是为了让人们知道...