c# - 如何以编程方式将数据加载到 HDFS(本地 HDInsight)？

Question

有没有办法使用 C# 以编程方式将数据加载到我的本地 HDFS 集群？

我找到了有关使用 SDK 使用 C# 代码将数据加载到 Azure 的教程，但它需要 blob 存储并且不适用于本地集群。有什么解决方法吗？

我知道可以使用 Javascript 控制台或 Hadoop 命令行加载数据，但我特别关注通过代码实现这一点。

我浏览了一些论坛，发现 Hive 连接现在要求您拥有一个 Azure 存储帐户，无论您是否使用 HDInsight Azure 服务。将数据加载到 HDFS 也是这样吗？

任何指针都会有所帮助。

谢谢!

Answer 1

是的，这是可能的。 HDInsight 提供了一个 C 库，用于 HDFS 文件系统操作。看这个link有关详细信息和此 post工作示例。

希望这对您有所帮助。