hadoop - 如何使用Solr将文件发送到HDFS

Question

我正在尝试索引文件并将这些文件保留在HDFS上。

我正在使用Solr 4.10.4和Hadoop 2.6.0。

我用于集成HDFS和Solr的命令是；

java -Dsolr.directoryFactory=HdfsDirectoryFactory -Dsolr.lock.type=hdfs -Dsolr.data.dir=hdfs://<hostname>:<port>/Solr -Dsolr.updatelog=hdfs://<hostname>:<port>/Solr-logs -jar start.jar

当我尝试使用发送一些文件

java -jar post.jar <file-path>

命令，Solr发出警告，并且不将其发送到hdfs。它仅接受带有特定字段的 xml 格式。

如何使用Solr发送任何类型的文件以建立HDFS索引，并如何使用Solr在这些文件上进行搜索。

注意:我是Solr和Hadoop的初学者。

Answer 1

如果要索引其他文件格式，可以指定文档类型，如下所示

java -Dtype=text/csv -jar post.jar *.csv

默认情况下，以下命令会处理Apache Tika可以处理的所有可能的文件类型

java -Dauto -jar post.jar *.*