hadoop - 如何在hadoop中使用关键字匹配从多个页面获取整个页面内容

Question

我正在尝试一个小示例，例如，如果某个关键字在多个页面中的特定页面中匹配，那么我需要获取该特定页面的全部内容。该页面如下所示。

98339-93-05-1，PROD， 2 ，288.000，40.800，34.500，“Slate_Pro_Light”，9.0，8，“981-2535”
98339-93-05-1，PROD， 2 ，324.240，40.800，7.485，“Slate_Pro_Light”，9.0，2，“或”
98339-93-05-1，PROD， 2 ，333.360，40.800，19.473，“Slate_Pro_Light”，9.0，5，“电子邮件”
98339-93-05-1，PROD，2，288.000，31.440，104.442，“Slate_Pro_Light”，9.0，24，“jmcgaha@farmersagent.com”
98339-93-05-1，PROD，2，63.120，14.160，22.312，“ Slate_Pro_Bk_Condensed ”，8.0，7，“56-6177”
98339-93-05-1，PROD，2，91.920，14.160，7.880，“ Slate_Pro_Bk_Condensed ”，8.0，3，“1st”
98339-93-05-1，PROD，3，101.280，14.160，19.160，“Slate_Pro_Bk_Condensed”，8.0，7，“版本”
98339-93-05-1，PROD，3，127.920，14.160，12.232，“Slate_Pro_Bk_Condensed”，8.0，4，“4-14”
98339-93-05-1，PROD，3，45.120，704.160，66.239，“Slate_Pro_Medium”，13.5，11，“声明”
98339-93-05-1，PROD，3，113.760，704.160，28.350，“Slate_Pro_Medium”，13.5，4，“页面”
98339-93-05-1，PROD，3，144.480，704.160，61.890，“Slate_Pro_Light”，13.5，11，“(续)”
98339-93-05-1，PROD，3，45.120，661.200，60.491，“Slate_Pro_MediumIta”，13.5，9，“抵押贷款”
98339-93-05-1，PROD，3，107.760，661.200，6.142，“Slate_Pro_MediumIta”，13.5，1，“/”
98339-93-05-1，PROD，3，115.920，661.200，31.138，“Slate_Pro_MediumIta”，13.5，5，“其他”
98339-93-05-1，PROD，3，149.280，661.200，42.081，“Slate_Pro_MediumIta”，13.5，8，“兴趣”
98339-93-05-1，PROD，3，45.120，645.600，11.720，“Slate_ProIta”，10.0，3，“1st”
98339-93-05-1，PROD，3，58.560，645.600，43.320，“Slate_ProIta”，10.0，9，“抵押贷款”
98339-93-05-1，PROD，3，244.080，645.600，19.150，“Slate_ProIta”，10.0，4，“贷款”
98339-93-05-1，PROD，3，264.960，645.600，32.100，“Slate_ProIta”，10.0，6，“Number”
98339-93-05-1，PROD，3，45.120，631.680，26.040，“Slate_Pro_Light”，10.0，6，“Bryant”
98339-93-05-1，PROD，3，72.960，631.680，19.910，“Slate_Pro_Light”，10.0，4，“银行”
98339-93-05-1，PROD，3，45.120，619.680，12.230，“Slate_Pro_Light”，10.0，2，“PO”
98339-93-05-1，PROD，3，59.040，619.680，14.710，“Slate_Pro_Light”，10.0，3，“盒子”
98339-93-05-1，PROD，3，75.360，619.680，10.040，“Slate_Pro_Light”，10.0，2，“46”
98339-93-05-1，PROD，3，45.120，607.680，42.100，“Slate_Pro_Light”，10.0，11，“亨茨维尔”
98339-93-05-1，PROD，3，89.040，607.680，9.770，“Slate_Pro_Light”，10.0，2，“AL”

因此，如果某列与关键字 Slate_Pro_Bk_Condensed 匹配，那么我需要获取整个数据。
在上面的关键字中，页面 3与相匹配，所以现在我需要获取页面3中的所有数据。

所以请帮助我解决使用Map Reduce程序

先感谢您。

Answer 1

可能的解决方案是将页面拆分为文件，然后使用FileInputFormat在MR中处理它们。
然后，使用java regex检查某个页面是否包含“Slate_Pro_Bk_Condensed”。
您可以遍历每页中的行以显着提高性能-找到字符串后，您可以跳到下一页。