unit-testing - Apache Hive 中的自动化测试

Question

我即将开始一个使用 Apache Hadoop/Hive 的项目，该项目将涉及一组配置单元查询脚本来为各种下游应用程序生成数据源。这些脚本似乎是某些单元测试的理想候选者——它们代表了我的数据存储和客户端应用程序之间的 API 契约(Contract)的履行，因此，为一组给定的起始数据编写预期结果应该是什么是微不足道的。我的问题是如何运行这些测试。

如果我使用 SQL 查询，我可以使用 SQLlite 或 Derby 之类的东西来快速启动测试数据库、加载测试数据并针对它们运行一组查询测试。不幸的是，我不知道 Hive 有任何此类工具。目前，我最好的想法是让测试框架启动一个 hadoop 本地实例并针对它运行 Hive，但我以前从未这样做过，我不确定它是否会起作用，或者是正确的路径。

此外，我对关于我正在做的是单元测试还是集成测试的迂腐讨论不感兴趣——我只需要能够证明我的代码有效。

Answer 1

Hive 有特殊的独立模式，专门为测试目的而设计。在这种情况下，它可以在没有 hadoop 的情况下运行。我认为这正是您所需要的。有文档链接:

http://wiki.apache.org/hadoop/Hive/HiveServer