c# - 使用 Lucene.NET 和 C# 对 blob 内的数据建立索引

Question

我正在使用 Lucene.Net + 自定义爬虫 + Ifilter，以便我可以索引 blob 内的数据。

foreach (var item in containerList)
            {
                CloudBlobContainer container = BlobClient.GetContainerReference(item.Name);
                if (container.Name != "indexes")
                {
                    IEnumerable<IListBlobItem> blobs = container.ListBlobs();
                    foreach (CloudBlob blob in blobs)
                    {
                        CloudBlobContainer blobContainer = blob.Container;
                        CloudBlob blobToDownload = blobContainer.GetBlobReference(blob.Name);

                        blob.DownloadToFile(path+blob.Name);
                        indexer.IndexBlobData(path,blob);
                        System.IO.File.Delete(path+blob.Name);
                    }
                }
            }
/*Code for crawling which downloads file Locally on azure instance storage*/

下面的代码是使用 IFilter 的索引器函数

public bool IndexBlobData(string path, CloudBlob blob)
    {
        Lucene.Net.Documents.Document doc = new Lucene.Net.Documents.Document();
        try
        {
            TextReader reader = new FilterReader(path + blob.Name);
            doc.Add(new Lucene.Net.Documents.Field("url", blob.Uri.ToString(), Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.NOT_ANALYZED));
            doc.Add(new Lucene.Net.Documents.Field("content", reader.ReadToEnd().ToString(), Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.ANALYZED));
            indexWriter.AddDocument(doc);
            reader.Close();
            return true;
        }
        catch (Exception e)
        {
            return false;
        }
    }

现在我的问题是我不想在实例存储上下载文件。我直接想将文件传递给 FilterReader。但它需要“物理”路径，传递http地址不起作用。有人可以建议任何其他解决方法吗？我不想再次从 blob 下载相同的文件然后对其建立索引，而是更喜欢下载并将其保留在主内存中并直接使用索引过滤器。

我正在使用 IFilter from here

Answer 1

不太清楚你的意思是什么我不想再次从 blob 下载相同的文件然后索引它，相反我更喜欢下载并将其保存在主内存中并直接使用索引过滤器？什么是主内存 - Azure Blob 存储或本地实例内存。

但是，由于 IFilter 接口(interface)的性质，您面临的问题无法解决。如果您更深入地查看您正在使用的源代码 from here ，您会发现它在幕后使用 IPersistFile COM interface 。不幸的是，该接口(interface)仅适用于本地文件，不接受流。

我建议使用 Blob 中的 Stream 并将其传递给 Reader，而不是物理路径。然而，正如已经说过的 - IFilter 使用仅适用于物理路径的 COM 接口(interface)。因此，按照您当前的方法，无法跳过 blob 下载。

本地下载 blob 并不可怕。如果存储帐户与计算位于同一关联组中，下载速度将非常快，流量将是免费的。假设您使用 small instance size ，您将拥有 165GB 的本地存储空间。这是足够的存储空间。您可以通过跟踪哪些内容已索引、哪些内容未索引来稍微优化您的流程。您可以使用 Azure 表存储来实现此目的。另一种极其快速且廉价的存储解决方案，非常适合将键值对存储为文件名 - etag。然后，当您枚举 Blob 时，首先获取 Blob 的 etag 并检查表是否已建立索引。仅当未建立索引时才下载它，然后将新记录添加到表中以将该文件标记为已建立索引。

或者...或者不使用 IFilter。我没有看到在 Azure 上使用 IFilter 的任何好处。 IFilter 仅在安装应用程序时注册。例如，如果您想使用 IFilter 处理 Office 文档 - 您必须在 VM 上安装 Microsoft Office(目前您无法执行此操作，即使您有许可证，因为 MS Office 的许可证移动性限制)。如果您想获取 PDF 版 IFilter - 您必须安装 Adob​​e Acrobat Reader(可以通过启动任务来完成)。等等，等等 - 有些应用程序可以安装，有些则不能安装。您的 Windows Azure VM 实例是纯 Windows，根本没有 IFilter。想象一下 Windows Server 2008 R2 的基本安装，没有任何角色，也没有添加任何功能 - 这就是您的实例。