个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
27
4
我正在开始使用 Hadoop，并致力于为“购买了 x 的客户也购买了 y”构建 MapReduce 链，其中 y 是与 x 一起购买最频繁的产品。我正在寻找有关提高此任务效率的建议，我的意思是减少从映射器节点转移到缩减器节点的数据量。我的目标与其他“客户购买 x”场景略有不同，因为我只想存储给定产品的最常购买产品，而不是按给定产品排名的购买产品列表频率。
我正在关注 this blog post指导我的方法。
如果，据我所知，Hadoop 中最大的性能限制因素之一是将数据从映射器节点改组到缩减器节点，那么，对于 MapReduce 链的每个阶段，我希望将改组后的数据量保持在一定水平最小值。
假设我的初始数据集是一个 SQL 表 purchases_products ，购买和在该购买中购买的产品之间的连接表。我喂select x.product_id, y.product_id from purchases_products x inner join purchases_products y on x.purchase_id = y.purchase_id and x.product_id != y.product_id进入我的 MapReduce 操作。
我的 MapReduce 策略是映射 product_id_x, product_id_y至 product_id_x_product_id_y, 1然后在我的 reduce 步骤中总结这些值。最后，我可以将键和存储对拆分回 SQL 表。
我对这个操作的问题是它打乱了可能大量的行，即使我想要生成的结果集的大小只有 count(products)大。理想情况下，我希望在这个阶段有一个组合器步骤来缩小混洗到缩减器的行数，但我没有找到可靠的方法。
这仅仅是手头任务的局限性，还是存在组织工作流的 Hadoop 技巧可以帮助我在第二步中减少数据洗牌？我担心洗牌大小在这种情况下是否合适？
谢谢!
最佳答案
根据您的产品集有多大(因此定义了可能的产品对的数量)，您可以查看 map 端“本地”聚合。
在您的映射器中维护一个产品对到频率计数的映射，而不是将每个产品对和值 1 写入上下文，而是将它们累积在一个映射中。当映射达到预定义大小时，将映射刷新到输出上下文。您甚至可以使用 LRU 映射将最常观察到的对保留在映射中，并在它们被迫退出时写出那些“过期”条目。
有关适用于字数统计示例的示例，请参阅 http://www.wikidoop.com/wiki/Hadoop/MapReduce/Mapper#Map_Aggregation
当然，如果您有庞大的产品集或随机的产品配对，这不会为您节省那么多。您还需要了解在可用的 JVM 内存过期之前您的 map 可以达到多大。
您还可以考虑减少存储在输出键/值对象中的数据量:
关于 "customers who bought x also bought y"的 Hadoop 数据流效率，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/9774049/
27
4
0
我刚刚编写了这些代码，但输出不同。第二个代码的输出符合我的预期，但第一个代码的输出不正确。但为什么呢？ def fib(n): x = 0 y = 1 print x
#include #include #define CUBE(y)y*(y*y) main() { int j; j = CUBE(-2+4);
这个问题在这里已经有了答案: Multiple assignment and evaluation order in Python (11 个答案) 关闭 1 年前。 我看到下面的代码，但不知道它做
我正在阅读 book , 并讲了 typeclass Eq 的定义 有两个功能== , /=在等式中，它们被实现为: x == y = not (x /= y) x /= y = not (
我最近参加了一个代码力量竞赛。在比赛的编辑部分，我看到了按位运算符之间的一种美妙关系，即 x + y = x & y + x |是的我还不知道证据。我拿了几个数字来看看这个等式是否正确。我很高兴知道这
我使用 CGRectMake(x,x,x,x) 在我的 View 中放置了一个按钮，当然 x 是位置和大小。当我使用 -(BOOL)shouldAutoRotate... 旋转 View 时，我想将按
this.x = (Math.random()*canvasWidth); this.y = (Math.random()*canvasHeight); (1) this.shift = {x: th
我想将此代码运行为“if 'Britain' or 'UK' in string do stuff, but don't do stuff if "Ex UK" 在字符串中": #Case insen
早上好，我是新来的，我带来了一个小问题。我无法针对以下问题开发有效的算法:我需要找到三个正数 x、y 和 z 的组合，以便 x + y、x - y、y + z、y - z、x + z 和 x - z
我现在正在使用 C++ 编写方案的解释器。我有一个关于定义和 lambda 的问题。 (define (add x y) (+ x y)) 扩展为 (define add (lambda (x y)
我正在尝试使用一台主机通过 FTP 将内容上传到另一台主机。 “我不会打开到 172.xxx.xxx.xxx(仅到 54.xxx.xxx.xxx)的连接”甚至不相关，因为我没有连接到那个主持人。这是托
在 Python 中，使用 [] 解包函数调用有什么区别？ , 与 ()还是一无所有？ def f(): return 0, 1 a, b = f() # 1 [a, b] = f() # 2
给定方程 z = z(x,y) 2 个表面 I和 II : z_I(x, y) = a0 + a1*y + a2*x + a3*y**2 + a4*x**2 + a5*x*y z_II(x, y)
几年前我有这个面试问题，但我还没有找到答案。 x 和 y 应该是什么才能形成无限循环？ while (x = y && x != y) { } 我们尝试了 Nan,infinity+/-,null f
我正在尝试使用 Camel FTP Producer 将文件发送到第三方 ftp 服务器(似乎由 Amazon 托管)，但遇到了一个问题，写入文件失败，并显示:文件操作失败...主机尝试数据连接 x.
关闭。这个问题需要details or clarity .它目前不接受答案。 想改进这个问题吗？ 通过 editing this post 添加细节并澄清问题. 关闭 8 年前。 Improve t
我正在使用 torch.tensor.repeat() x = torch.tensor([[1, 2, 3], [4, 5, 6]]) period = x.size(1) repeats = [1
#include int main() { int x = 9; int y = 2; int z = x - (x / y) * y; printf("%d", z
我很难理解先有定义然后有两个异或表达式的含义。这个定义的作用是什么？ 我尝试发送 x=8, y=7，结果是 x=15 和 y=8为什么会这样？ 这是程序: #define FUNC(a,b) a^=b
我正在尝试使用 SIMD 优化此功能，但我不知道从哪里开始。 long sum(int x,int y) { return x*x*x+y*y*y; } 反汇编函数如下所示: 4007a0
我是一名优秀的程序员,十分优秀！