hadoop - 使用solr/lucene索引原始HTML内容

Question

我有一些HTML，这些HTML是我在不同时间段从同一网站上抓取下来的。原始数据看起来像这样

timestamp, htmlcontent(500KB)
..

我已经编写了一个解析器，以从HTML解析出一些有趣的字段，然后尝试基于解析出的字段构建搜索引擎。不只是基于HTML的原始文本，而是原始的完整HTML内容>

现在我的数据如下:

timestamp, htmlcontent, parsedfield1, parsedfield2

我希望用户搜索时间戳，parsedfield1或parsedfield2，并且我的搜索引擎返回与用户查询匹配的原始HTML并填充浏览器...因此感觉就像是搜索引擎的时光机:)

在这种情况下，我想知道如何设计索引？我应该存储哪些字段，哪些不存储。我正在阅读《 Lucene in Action》这本书，想知道有人能帮助我如何解决这个问题。

根据我对Index的理解，schema.xml中有一些属性... index是否？是否存储？...。我假设:“无论您想在查询结果中包括什么，都应该存储它。” ..在这种情况下，我必须存储包含原始HTML的列...

由于该列是如此之大，因此一条记录通常大约为数百KB ...只有几百行..您可以轻松地获得将近1GB的数据集...在solr中不起作用，我正在尝试为这些索引使用Lucene的列，它遇到了heapsize问题。

这是另一个想法:
也许我应该存储parsedfield1，parsedfield2和指针...，其中point列是原始HTML文件的绝对路径。当然，在这种情况下，我需要将每个html存储到本地/或HDFS上的单独文件中...因此，当用户搜索parsedfield1时，它将返回绝对路径，然后我便检索了这些文件...

我想我正在尽可能清楚地描述问题，想知道有人可以花一点时间给我一些指导性指导吗？

非常感激!

Answer 1

一些准则
1.您需要XML或CSV或JSON格式的数据，我将为您提供xml示例
例如。-->您的数据为xml格式

<add>
    <doc>
        <field name="id">01</field>
        <field name="timestamp">somevalue</field>
        <field name="parsedfield1">your data 1</field>
        <field name="parsedfield2">Java data </field>
        <field name="htmlcontent">link to that html file</field>
    </doc>
</add>

2.您需要修改schema.xml
-每个文件应有一个唯一的ID
-根据您的需要，您只需要存储htmlcontent的路径
-其他字段仅用于搜索索引

 <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false"/>
 <field name="timestamp" type="text_general" indexed="true" stored="false" />
 <field name="parsedfield1" type="text_general" indexed="true" stored="false"/>
 <field name="parsedfield2" type="text_general" indexed="true" stored="false" />
 <field name="parsedfield2" type="text_general" indexed="true" stored="false" />
 <field name="htmlcontent" type="text_general" indexed="true"  stored="true" />

3.您可以使用post.jar将所有XML文件发布到solr，或者如果需要以编程方式使用SOLRJ API


**要存储或不存储的字段**
要在其上执行的字段仅搜索就不需要存储，除非您想在结果中显示它们