hadoop - 如何从 pig map 中获取变量键的值？

Question

有没有一种方法可以使用字段作为键来获取变量键的映射值？例如:我的公司数据有这样的语言环境和名称字段

 {"en_US", (["en_US" : "English Name"], ["fr_FR" : "French Name"])}

我本质上想要的是使用语言环境作为键来获取 map 的值，因为它会因不同的语言环境而不同。

company_data = load '/data' using PigStorage();

final_company_data = FOREACH company_data GENERATE
                                             value.locale as locale
                                             value.name#locale;

下面给出了一个错误，因为我知道要从 map 中检索一个值，我们需要 value.name#'en_US'。有没有一种方法可以让我们使用语言环境来替换正确的值？

Output : final_company_data = {"en_US", "English Name"}

Answer 1

据我所知，您不能在 Pig 中执行此操作。键必须是静态值。所以例如这应该有效:

final_company_data = FOREACH company_data GENERATE
                                         value.locale as locale
                                         value.name#'en_US';

如果键集大小不是太大，您可以尝试这样的操作(但这需要大量输入):

en = FILTER company_data BY value.locale == 'en_US';
final_company_data_en = FOREACH company_data GENERATE
                                         value.locale as locale
                                         value.name#'en_US';
fr = FILTER company_data BY value.locale == 'fr_FR';
final_company_data_en = FOREACH company_data GENERATE
                                         value.locale as locale
                                         value.name#'fr_FR';

并对每个键执行此操作，然后对所有子集执行并集。这个解决方案既糟糕又丑陋，但它确实有效。