- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试编写一个 map reduce 程序来检查共同的 friend 。
我使用自定义可写(FriendPair)作为键。
给定以下输入
Tom Jerry,John
John Jerry,Sarah,Tom
它应该输出 Jerry 作为 Tom 和 John 的共同 friend
[John,Tom] Jerry
[John,Sarah]
[John,Jerry]
[Tom,Jerry]
相反,map reduce 输出以下内容
[John,Tom]
[John,Sarah]
[John,Jerry]
[Tom,John]
[Tom,Jerry]
键 [John,Tom] 和 [Tom,John] 被认为是不相等的。
public class FriendPair implements WritableComparable<FriendPair> {
Text friend1;
Text friend2;
public FriendPair() {
this.friend1 = new Text("");
this.friend2 = new Text("");
}
public FriendPair(Text friend1, Text friend2) {
this.friend1 = friend1;
this.friend2 = friend2;
}
public Text getFriend1() {
return friend1;
}
public void setFriend1(Text friend1) {
this.friend1 = friend1;
}
public Text getFriend2() {
return friend2;
}
public void setFriend2(Text friend2) {
this.friend2 = friend2;
}
@Override
public void write(DataOutput out) throws IOException {
friend1.write(out);
friend2.write(out);
}
@Override
public void readFields(DataInput in) throws IOException {
friend1.readFields(in);
friend2.readFields(in);
}
@Override
public int compareTo(FriendPair pair2) {
return ((friend1.compareTo(pair2.getFriend2()) == 0 && friend2.compareTo(pair2.getFriend1()) == 0)
|| (friend1.compareTo(pair2.getFriend1()) == 0 && friend2.compareTo(pair2.getFriend2()) == 0)) ? 0 : -1;
}
@Override
public boolean equals(Object o) {
FriendPair pair2 = (FriendPair) o;
return (friend1.equals(pair2.getFriend2()) && friend2.equals(pair2.getFriend1())
|| friend1.equals(pair2.getFriend1()) && friend2.equals(pair2.getFriend2()));
}
@Override
public String toString() {
return "[" + friend1 + "," + friend2 + "]";
}
@Override
public int hashCode() {
return friend1.hashCode() + friend2.hashCode();
}
}
映射器
public class MutualFriendsMapper extends Mapper<LongWritable, Text, FriendPair, Text> {
@Override
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
String[] items = line.split("\t");
String name = items[0];
String friendsList = items[1];
String[] friends = friendsList.split(",");
for (String friend : friends) {
FriendPair fp = new FriendPair(new Text(name), new Text(friend));
FriendPair fp2 = new FriendPair(new Text(friend), new Text(name));
context.write(fp, new Text(friendsList));
}
}
}
reducer
public class MutualFriendsReducer extends Reducer<FriendPair, Text, FriendPair, FriendArray> {
@Override
public void reduce(FriendPair key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
List<String> allFriends = new ArrayList<String>();
for(Text value : values) {
String[] valueArray = value.toString().split(",");
allFriends.addAll(Arrays.asList(valueArray));
}
List<Text> commonFriends = new ArrayList<Text>();
Set<String> uniqueFriendSet = new HashSet<String>(allFriends);
for(String friend : uniqueFriendSet) {
int frequency = Collections.frequency(allFriends, friend);
if(frequency > 1) {
commonFriends.add(new Text(friend));
}
}
context.write(key, new FriendArray(Text.class, commonFriends.toArray(new Text[commonFriends.size()])));
}
}
FriendArray(输出)
public class FriendArray extends ArrayWritable {
public FriendArray(Class<? extends Writable> valueClass, Writable[] values) {
super(valueClass, values);
}
public FriendArray(Class<? extends Writable> valueClass) {
super(valueClass);
}
public FriendArray() {
super(Text.class);
}
@Override
public Text[] get() {
return (Text[]) super.get();
}
@Override
public void write(DataOutput data) throws IOException {
for(Text t : get()) {
t.write(data);
}
}
@Override
public String toString() {
Text[] friendArray = Arrays.copyOf(get(), get().length, Text[].class);
String print="";
for(Text f : friendArray)
print+=f+",";
return print;
}
}
任何帮助将不胜感激。
最佳答案
在“排序”阶段,Hadoop 不对 java 对象进行操作,而仅对它们的字节表示(FriendPair.write()
方法的输出)进行操作,因此它不能调用 FriendPair.equals()
.因此,为了让 Hadoop 理解键 [John,Tom] 和 [Tom,John] 相等,您必须确保它们的 write
输出是相同的。实现此目的的一种方法是强制执行配对中 friend 的顺序,例如按字母顺序对它们进行排序(然后两个配对看起来都是 [John,Tom])。
关于hadoop reducer 不考虑两个相等的自定义可写对象相等,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64165809/
也许我在 Java 上工作的时间太长而没有真正理解它的一些基础知识。 我确实理解 == 用于对象引用相等,而 .equals() 用于对象值相等。 比较整数: Integer x = 1, y = 1
我是从一道考试题中得出这个答案的,但无法理解该解决方案的工作原理。如果值“x”和“y”相等,则此函数应该返回“true”,否则返回 False。 解决方法: function equal_boolea
我将带有表情符号的文本存储在 mysql 数据库中。 数据库、表和列设置为使用utf8mb4和utf8mb4_unicode_ci。 我可以毫无问题地输入单元格值(数据类型是 VARCHAR)。 但是
如果两个 DateTime 对象具有相同的日、月和年,我该如何比较?问题是他们有不同的小时/分钟/秒。 最佳答案 对于 DateTime 对象,没有好的方法可以做到这一点。所以你必须做,比方说,不是那
我一直想知道这个问题,所以我想我会问的。 您将看到的大多数地方都使用相同的语义逻辑来覆盖 Equals 和 GetHashCode 以实现成员平等...但是它们通常使用不同的实现: publi
苹果 CoreGraphics.framework , CGGeometry.h : CG_INLINE bool __CGSizeEqualToSize(CGSize size1, CGSize s
在最新的python 版本中, dict 保留了插入的顺序。在平等方面是否有任何变化。例如,目前以下工作。既然广告顺序很重要, future 会不会发生这种变化? 我问是因为有根本性的变化 - 以前
class VideoUserModel(models.Model): user = models.ManyToManyField(get_user_model()) viewlist
我在 COQ 中有一个有限枚举类型(比如 T),我想检查元素是否相等。这意味着,我需要一个函数 bool beq_T(x:T,y:T) 我设法定义这样一个函数的唯一方法是逐个分析。这会导致很多匹配语
我在 Windows 7(32 位)下的 MinGW 中使用 gfortran 来编译 Fortran 代码。这是文件 testequal.f 中包含的最少代码: program test
我有以下 jsp 片段: ${campaign.moderated}
我想检查两个稀疏数组是否(几乎)相等。而对于 numpy 数组,你可以这样做: import numpy as np a = np.ones(200) np.testing.assert_array_
我有以下类(class): public class MyDocuments { public DateTime registeredDate; public
这个问题已经有答案了: Is floating point math broken? (33 个回答) 已关闭 5 年前。 我在这里想做的是,我采用一个精度值(小于 1)并打印 1/n 类型的所有数字
我正在为我的arduino写一个草图,我想检查我的字符串的最后一个字符。 例如: 如果输入是 cats- 我想看看最后一个字符(在我的例子中是“-”)实际上是否 - 我使用的代码: 串行事件函数 vo
让我们开始: using System; public class Program { class A { public virtual void Do() { }
我只需要根据几个键(不是全部)来确定两个 HashMap 的相等性 除了单独访问每个字段并比较相等性之外,还有其他节省时间的方法吗? 最佳答案 我能想到的一种方法是在您的 HashMap 上存储某种“
在Java中,大写的Double可以为null。 但是如果我有 double a 和 b 并且我这样做: if (a.equals(b)) 如果其中之一为空,它会崩溃。有没有更好的方法来比较它们? 最
我正在尝试从我的旧数据库中插入表格数据。 Id 在数据库表和选择特定列中都相等。这是我的数据库。 旧数据库:sch -> 旧表:product (id, tag, url) (13, red, aaa
我正在开发一个应用程序,它在我的主视图中有一个侧边栏和两个 div。我试图在容器内平均分割两者的高度。我试过 height = 50% 但效果不太好。
我是一名优秀的程序员,十分优秀!