- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在使用 Whoosh 索引和搜索各种编码的各种文本。但是,在对我的索引文件执行搜索时,一些匹配结果没有出现在使用“突出显示”功能的输出中。我觉得这与编码错误有关,但我无法弄清楚是什么阻止了所有结果的显示。如果其他人可以阐明这个谜团,我将不胜感激。
这是我用来创建索引的脚本,here是我正在编制索引的文件:
from whoosh.index import create_in
from whoosh.fields import *
import glob, os, chardet
encodings = ['utf-8', 'ISO-8859-2', 'windows-1250', 'windows-1252', 'latin1', 'ascii']
def determine_string_encoding(string):
result = chardet.detect(string)
string_encoding = result['encoding']
return string_encoding
#specify a list of paths that contain all of the texts we wish to index
text_dirs = [
"C:\Users\Douglas\Desktop\intertextuality\sample_datasets\hume",
"C:\Users\Douglas\Desktop\intertextuality\sample_datasets\complete_pope\clean"
]
#establish the schema to be used when storing texts; storing content allows us to retrieve hightlighted extracts from texts in which matches occur
schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT(stored=True))
#check to see if we already have an index directory. If we don't, make it
if not os.path.exists("index"):
os.mkdir("index")
ix = create_in("index", schema)
#create writer object we'll use to write each of the documents in text_dir to the index
writer = ix.writer()
#create file in which we can write the encoding of each file to disk for review
with open("encodings_log.txt","w") as encodings_out:
#for each directory in our list
for i in text_dirs:
#for each text file in that directory (j is now the path to the current file within the current directory)
for j in glob.glob( i + "\\*.txt" ):
#first, let's grab j title. If the title is stored in the text file name, we can use this method:
text_title = j.split("\\")[-1]
#now let's read the file
with open( j, "r" ) as text_content:
text_content = text_content.read()
#use method defined above to determine encoding of path and text_content
path_encoding = determine_string_encoding(j)
text_content_encoding = determine_string_encoding(text_content)
#because we know the encoding of the files in this directory, let's override the previous text_content_encoding value and specify that encoding explicitly
if "clean" in j:
text_content_encoding = "iso-8859-1"
#decode text_title, path, and text_content to unicode using the encodings we determined for each above
unicode_text_title = unicode(text_title, path_encoding)
unicode_text_path = unicode(j, path_encoding)
unicode_text_content = unicode(text_content, text_content_encoding)
#use writer method to add document to index
writer.add_document( title = unicode_text_title, path = unicode_text_path, content = unicode_text_content )
#after you've added all of your documents, commit changes to the index
writer.commit()
该代码似乎可以毫无问题地对文本进行索引,但是当我使用以下脚本解析索引时,我在 out.txt 输出文件中得到了三个空白值——前两行为空,第六行是空的,但我希望这三行是非空的。这是我用来解析索引的脚本:
from whoosh.qparser import QueryParser
from whoosh.qparser import FuzzyTermPlugin
from whoosh.index import open_dir
import codecs
#now that we have an index, we can open it with open_dir
ix = open_dir("index")
with ix.searcher() as searcher:
parser = QueryParser("content", schema=ix.schema)
#to enable Levenshtein-based parse, use plugin
parser.add_plugin(FuzzyTermPlugin())
#using ~2/3 means: allow for edit distance of two (where additions, subtractions, and insertions each cost one), but only count matches for which first three letters match. Increasing this denominator greatly increases speed
query = parser.parse(u"swallow~2/3")
results = searcher.search(query)
#see see whoosh.query.phrase, which describes "slop" parameter (ie: number of words we can insert between any two words in our search query)
#write query results to disk or html
with codecs.open("out.txt","w") as out:
for i in results[0:]:
title = i["title"]
highlight = i.highlights("content")
clean_highlight = " ".join(highlight.split())
out.write(clean_highlight.encode("utf-8") + "\n")
如果有人能提出这三行是空的原因,我将永远感激不已。
最佳答案
天啊,我可能已经想通了!似乎我的一些文本文件(包括路径中带有“hume”的两个文件)超过了控制 Whoosh 索引创建行为的阈值。如果试图索引一个太大的文件,Whoosh 似乎将该文本存储为字符串值,而不是 unicode 值。因此,假设有一个包含字段“path”(文件路径)、“title”(文件标题)、“content”(文件内容)和“encoding”(当前文件的编码)的索引,可以测试是否通过运行如下脚本正确索引了该索引中的文件:
from whoosh.qparser import QueryParser
from whoosh.qparser import FuzzyTermPlugin
from whoosh.index import open_dir
import codecs
#now that we have an index, we can open it with open_dir
ix = open_dir("index")
phrase_to_search = unicode("swallow")
with ix.searcher() as searcher:
parser = QueryParser("content", schema=ix.schema)
query = parser.parse( phrase_to_search )
results = searcher.search(query)
for hit in results:
hit_encoding = (hit["encoding"])
with codecs.open(hit["path"], "r", hit_encoding) as fileobj:
filecontents = fileobj.read()
hit_highlight = hit.highlights("content", text=filecontents)
hit_title = (hit["title"])
print type(hit_highlight), hit["title"]
如果任何打印值的类型为“str”,那么荧光笔似乎将指定文件的一部分视为字符串类型而不是 unicode。
这里有两种方法可以纠正这个问题:1) 将大文件 ( anything over 32K characters ) 拆分成较小的文件——所有文件应包含 < 32K 个字符——并对这些较小的文件进行索引。这种方法需要更多的管理,但可以确保合理的处理速度。 2) 将参数传递给结果变量以增加可以存储为 unicode 的最大字符数,从而在上面的示例中正确打印到终端。要在上面的代码中实现此解决方案,可以在定义 results
的行之后添加以下行:
results.fragmenter.charlimit = 100000
添加此行允许将指定文件的前 100000 个字符的任何结果打印到终端,但它会显着增加处理时间。或者,可以使用 results.fragmenter.charlimit = None
完全删除字符限制,但这确实会增加处理大文件时的处理时间...
关于python - Whoosh 返回空值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24771252/
我有一个包含约 900 万行的 CSV 文件。我希望能够快速从该文件中搜索一行。我决定使用 python whoosh 来索引这些数据,然后搜索它,如下所示。 schema = Schema(cont
我正在使用 Whoosh 索引和搜索各种编码的各种文本。但是,在对我的索引文件执行搜索时,一些匹配结果没有出现在使用“突出显示”功能的输出中。我觉得这与编码错误有关,但我无法弄清楚是什么阻止了所有结果
此代码直接来自 Whoosh 的 quickstart docs : import os.path from whoosh.index import create_in from whoosh.fie
感谢您花时间提前回答这个问题。我对 Python (3.6) 和 Whoosh (2.7.4) 都比较陌生,所以如果我遗漏了一些明显的东西,请原谅我。 Whoosh 2.7.4 — 合并结果错误 我正
Whoosh 是一个用纯 Python ( official website) 实现的快速、功能强大的全文索引和搜索库。 但我找不到与其他搜索引擎相比的任何速度/性能比较,尤其是基于 Lucene 的
我正在使用带有 whoosh 的 haystack 作为 Django 应用程序的后端。 有什么方法可以查看whoosh生成的索引的内容(以易于阅读的格式)?我想看看索引了哪些数据以及如何索引,以便更
有没有人有使用django-haystack的经验与 whoosh后端? 我希望将它用于分类的实时搜索类型工具。在生产环境中是否足够快速/高效以避免设置 solr或 xapian ? 最佳答案 作为一
我正在使用 django haystack 1.27。我可以搜索。那太棒了。但我怎样才能搜索部分单词呢? 例如: 搜索:OREM、OR、EM 单词:LOREM 结果:LOREM 搜索索引.py cla
我正在尝试结合使用 Haystack 和 Whoosh 在我的应用程序中编制索引和搜索。当我重建索引时,我得到了这个结果: All documents removed. Updating backen
这个问题是关于 Django Haystack 的,带有 Whoosh 后端。我想在搜索中使用拼写建议。问题是它暗示的太多了。 假设我有两个模型:苹果和橙子。 如果我有这样的东西: result =
我正在尝试使用 Whoosh 索引一些文档。然而,当我尝试将文档添加到 Whoosh 索引时,Python 最终返回以下错误: RecursionError: maximum recursion de
我开始研究内容索引的实现,并且看了一下 Whoosh ( https://pypi.python.org/pypi/Whoosh/ )。 我很想知道 Whoosh 将其内容物理存储在哪里 - 它使用文
默认情况下,多词搜索被拆分成文件,每个词单独存在。我怎样才能覆盖这个默认值并快速搜索完全匹配的内容?尽管它很可能受支持,但我在 google/whoosh 文档中找不到。 此外,与相同的多词搜索相比,
我似乎一辈子都无法安装 whoosh alchemy。引用:http://pythonhosted.org/Flask-WhooshAlchemy/ .不管怎样,我在关注http://blog.mig
我已经用这样的模式为我的所有文档编制了索引: ID = ID(stored=True) Body = TEXT(analyzer=StemmingAnalyzer(), stored=False,fi
我正在尝试实现 Okapi BM25 以使用 python 通过查询搜索文档 whoosh图书馆。 我的理解是whoosh根据query使用BM25计算每篇文档的score,然后排序得到最好的结果。
这个奇怪的错误是在我中断了 whoosh 提交过程后出现的。当我现在尝试 promise 时,我得到了 File "/usr/local/lib/python2.7/dist-packages/w
我正在创建一个必须支持嵌套数据层次结构的搜索索引。出于测试目的,我正在制作一个非常简单的架构: test_schema = Schema( name_ngrams=NGRAMWORDS(min
我使用了来自 pythonhosted.org 的示例代码,但似乎没有发生任何事情。这是我使用的代码: results = mysearcher.search(myquery) for hit in
我有一个如下所示的索引架构: schema = Schema( title=TEXT(stored=True), content=TEXT, id=ID, topicI
我是一名优秀的程序员,十分优秀!