hadoop - 在200列1200万行数据集上执行相似功能时应使用什么？

Question

Closed. This question is opinion-based。它当前不接受答案。












想改善这个问题吗？更新问题，以便 editing this post用事实和引用来回答。

6年前关闭。



Improve this question




问题:
我有一张庞大的特征 vector 表。 vector 中的每个元素都由两个INTEGER组成。这是一个例子:

-------------------------------------------------------------------------------
KEY |  VALUE
---------------------------------------------------------------------------------
    | f1    | f2    | f3    | f4    | f5       | f6       | f7    |  f8   | f9
---------------------------------------------------------------------------------
 1  | 13 42 |       | 546 43| 43 24 | 435  634 |          | 45  43|  4  5 | 5 647
 2  | 24 32 | 54 35 |       |       | 3124 32  | 454 3    | 4   5 |  12 1 |   
 3  | 3  1  | 54 32 |       | 43 24 |          | 31  2432 | 454 3 |  4  5 | 1 21    
---------------------------------------------------------------------------------

假设我有大约1200万行带有唯一键的行和大约200列(= 400个子列)。如您所见，如果该元素没有该功能，则随机列中的值可能会丢失。

我想使用一些定制的相似度函数f(vector1，vector2)对表查询表中的第X行(不存在于表中)以找到最前N个(可能是N = 10-20)最佳匹配。检查并返回考虑不同权重以匹配不同列的相似性得分。

问题:
从NoSQL数据库的 Angular 来讲，您认为哪种实现最合适？我想进行实时查询。我正在考虑将HBase与Hadoop结合使用(或者将MongoDB与Hadoop结合使用，哪个更好？)，并编写MapReduce作业以在每一行上执行相似性函数并获取结果。我很担心Hadoop的批处理能力是否会为我提供良好的实时性能(最多2秒)。我在Lucene上没有太多经验-在这里有用吗？

除此之外，关于如何避免进行全表MapReduce扫描并以某种方式对其进行优化的任何想法？

最佳答案

在收到几个 friend 的建议后，我在ElasticSearch上查找了文档。似乎这是我用例的理想工具。它是为满足此类搜索/检索需求而构建的，像任何东西一样的碎片都可以处理大量数据。这是应该做的:

将每一行存储在文档中，关键元素是_id字段，每个f1，f2 ...字段都作为不同的字段。可以使用boost fields功能来提高某些字段的相关性(基本上为它们分配更多的权重，从根本上消除了我对相似性函数的需求)。这甚至可以在o​​jit_a期间完成，因此让用户根据用例分配权重。

这是一个查询示例，不适用于该用例(未经测试):

{
  "query" : {
    "filtered" : {
        "and" : [
         {      
              "query" : {
                    "bool" : {
                         "should" : [
                              { "match" : { "f192" : { "boost" : 2,"query" : "232"} } },
                              { "match" : { "f16" : { "boost" : 1,"query" : "4324"} } },
                              { "match" : { "f25" : { "boost" : 0.2,"query" : "76783"} } },
                         ]
                    }
                }
         },
         {
              "exists" : { "field" : "f67" }
         }
       ]
    }
  }
}'

关于hadoop - 在200列1200万行数据集上执行相似功能时应使用什么？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17787968/

上一篇：hadoop - 运行任何hadoop hdfs文件系统命令时出错

下一篇：Cloudera 考试的 Hadoop 数据类型

相关文章：

shell - HBase、hadoop、hive通过hive访问Hbase的正确设置方法是什么？

hadoop - 为什么 DISTINCT 在 Pig 中比 GROUP BY/FOREACH 快

java - mapreduce 中 Join 操作的输出

hadoop - 如何连接Hbase和Mysql

hadoop - 映射任务超时

java - HDFS 授予对文件及其所有目录的权限

xml - Hadoop Hive XPaths仅返回阵列的一部分

hadoop - 从 Oozie (CDH) 运行 Spark2

java - MapReduce代码查找城市的最高温度

hadoop - 在 HBase 中使用月份作为列族

Answer 1

在收到几个 friend 的建议后，我在ElasticSearch上查找了文档。似乎这是我用例的理想工具。它是为满足此类搜索/检索需求而构建的，像任何东西一样的碎片都可以处理大量数据。这是应该做的:

将每一行存储在文档中，关键元素是_id字段，每个f1，f2 ...字段都作为不同的字段。可以使用boost fields功能来提高某些字段的相关性(基本上为它们分配更多的权重，从根本上消除了我对相似性函数的需求)。这甚至可以在o​​jit_a期间完成，因此让用户根据用例分配权重。

这是一个查询示例，不适用于该用例(未经测试):

{
  "query" : {
    "filtered" : {
        "and" : [
         {      
              "query" : {
                    "bool" : {
                         "should" : [
                              { "match" : { "f192" : { "boost" : 2,"query" : "232"} } },
                              { "match" : { "f16" : { "boost" : 1,"query" : "4324"} } },
                              { "match" : { "f25" : { "boost" : 0.2,"query" : "76783"} } },
                         ]
                    }
                }
         },
         {
              "exists" : { "field" : "f67" }
         }
       ]
    }
  }
}'