gpt4 book ai didi

java - 重写我的程序,使其适合映射缩减结构

转载 作者:行者123 更新时间:2023-12-01 14:25:14 26 4
gpt4 key购买 nike

我编写了一个 InvertedIndex java 程序,其中给定一个单词,它在某个静态字符串数组中搜索该单词,其中每个字符串都是需要搜索的 url。它最终返回找到该单词的所有 url 的列表。

这是我的相关代码:

static final String[] URL_SEARCH_LIST = {
"http://www.cnn.com", "http://www.daniel.com", "http://www.amazon.com"
};
private static List<String> search (String query) {
try {
List<String> urlList = new ArrayList<String>();
for (String site : URL_SEARCH_LIST) {
URL url = new URL(site);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
BufferedReader br = new BufferedReader(new InputStreamReader(
(conn.getInputStream())));
String htmlContent;
while ((htmlContent = br.readLine()) != null) {
if (htmlContent.contains(query)) {
urlList.add(site);
break;
}
}
}
System.out.println("Search for: " + query + " Is Done!");
return urlList;

} catch (Exception e) {
System.out.println(e.getMessage());
return null;
}
}

现在我想在 Amazon EMR 上运行此程序,这意味着我需要将我的程序转换为执行相同操作的 Map-Reduce 程序。

鉴于此代码,有人可以帮助我开始吗?我没有完全理解map和reduce的概念...

提前致谢

最佳答案

Map-reduce 基本上只是分而治之加上大量基础设施,因此划分(映射)您的 URL_SEARCH_LIST 数组,创建每个本地 urlList,然后组合(减少)所有 urlLists 最终输出

关于java - 重写我的程序,使其适合映射缩减结构,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17206784/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com