database - 用于数据库访问的 PIG 拉丁文脚本

Question

我正在尝试使用 PIG 实现代理 key 生成器。
我需要将最后生成的 key 保存在数据库中，并在数据库中查询下一个可用 key 。

PIG 中是否支持使用 ODBC 查询数据库？
如果是，请提供指导或一些样本。

Answer 1

很抱歉没有直接回答你的问题，但这不是你想做的事情。有几个原因:

您的 MapReduce 作业将把您的数据库作为单个性能瓶颈(您基本上违背了 Hadoop 的目的)。

与 speculative execution ，您将两次加载相同的数据，因此当其中一项任务被终止时，一些唯一标识符将不存在。

我认为，如果您可以想象每条记录访问数据库一次，那么您可以在没有 MapReduce 的情况下在单个线程中执行此代理键丰富。

无论哪种方式，在 Hadoop 中构建代理键或自动计数器都不容易，因为它具有无共享的特性。