java - map reduce程序在hadoop框架中实现数据结构

Question

这是Hadoop中的数据结构实现。我想使用 map-reduce 编程在 Hadoop 中实现索引。第 1 部分 = 我想使用表中的索引号将此文本文件的每个单词存储起来。 [能够完成]第 2 部分 = 现在我想为这个新创建的表执行散列 [无法完成]第一部分我能够完成，但第二部分我遇到困难假设我有一个包含 3 行的文本文件: 你的工作怎么样 你的家人好吗 嗨，你好吗

我想使用索引存储这个文本文件。我有 map-reduce 代码返回每个单词的索引值，这个索引值我可以存储在索引表(哈希表)中 包含每个单词的索引值的输出:0,怎么 14,是 3，是 18 岁，工作 12，你的 7，

现在要存储在哈希表中，对带有模块(文件中不同元素的数量)的每个单词(索引值)应用哈希，假设为 4。对于单词的每个索引值，并应用哈希函数(模块'%')进行存储在哈希表中。如果同一位置发生碰撞，则转到下一个位置并存储它。

  0%4=0(store 'how' at hash index 0)
  14%4=2(store 'how' at has index 2)
  18%4=2(store 'is' at hash index 3 because of collision) 
  7%4=3 (store 'your' at index 4 because of collision)

Answer 1

您可以创建 Hashtable 对象并放置键和值。

Hashtable hashtable = new Hashtable(); 

如何找到 key ？答。您有总的不同单词数和单词索引。 key = 索引 % 不同的词 值=单词

在哈希表中插入记录之前，检查该键是否发生冲突。如何检查是否发生碰撞？答案。

boolean collision=hashtable.containsKey(key);  

如果碰撞为真，则线性检查 key+1、key+2...，当碰撞为假时，使用下面的行将键和值插入哈希表中。

hashtable.put(key,value);