azure - LuceneNet-是否有Hadoop/HDFSDirectory实现？

Question

我想知道是否有JAVA实现http://lucene.apache.org/solr/4_7_0/solr-core/org/apache/solr/store/hdfs/HdfsDirectory.html，是否存在用于.NET的类似库？

Answer 1

由于没有找到具体的.NET实现，因此我必须创建自己的实现。这是我用来创建Hdfs目录的源:

根据您的需要，执行与简单文件系统目录类似的实现SimpleFSDirectory.cs https://svn.apache.org/repos/asf/lucene.net/tags/Lucene.Net_3_0_3_RC2_final/src/core/Store/

获取在源代码/ codeplex http://hadoopsdk.codeplex.com/SourceControl/latest#readme.md

的 dev 中找到的最新 Microsoft.Hadoop.MapReduce库

并使用 IHdfsFile访问目录。

var client = Microsoft.Hadoop.MapReduce.Hadoop.MakeAzure(...);    
IHdfsFile fs = client.StorageSystem;    
fs.LsFiles(...); // make sure the dir path end with "/"
fs.MakeDirectory(...);    
fs.Exists(...);    
fs.WriteAllBytes(...);    
fs.Delete(...);

并使用 HdfsPath.Combine(path1, path2);创建路径。

请注意，Azure中Hadoop的成本至少需要2个头节点A3和1+ worker 节点...每月的最低成本为$ 714.24 https://azure.microsoft.com/en-us/pricing/calculator/