python - 构建 Whoosh 索引时超出最大递归深度-6ren

python - 构建 Whoosh 索引时超出最大递归深度

转载作者：行者123 更新时间：2023-12-01 01:11:04

26

4

我正在尝试使用 Whoosh 索引一些文档。然而，当我尝试将文档添加到 Whoosh 索引时，Python 最终返回以下错误:

RecursionError: maximum recursion depth exceeded while calling a Python object

我尝试过使用limitmb索引编写器的设置，以及更改索引提交到硬盘驱动器的频率。这似乎改变了成功索引的文档数量，但是不久之后索引就会因 RecursionError 而停止。

我的代码如下:

from whoosh.index import create_in
from whoosh.fields import *
from whoosh.qparser import QueryParser
from bs4 import BeautifulSoup
import os

schema = Schema(title=TEXT(stored=True), docID=ID(stored=True), content=TEXT(stored=True))
ix = create_in("index", schema)

writer = ix.writer(limitmb=1024, procs=4, multisegment=True);

for root, dirs, files in os.walk('aquaint'):
    for file in files:
        with open(os.path.join(root, file), "r") as f:
            soup = BeautifulSoup(f.read(), 'html.parser')
            for doc in soup.find_all('doc'):
                try:
                    t = doc.find('headline').string
                except:
                    t = "No title available"
                try:
                    d = doc.find('docno').string
                except:
                    d = "No docID available"
                try:
                    c = doc.find('text').string
                except:
                    c = "No content available"

                writer.add_document(title=t, docID=d, content=c)
        writer.commit()

我加载的文件来自 TRAC 稳健轨道 ( https://trec.nist.gov/data/t14_robust.html )，并具有以下格式(由于许可，我无法共享整个文件):

<DOC>
<DOCNO> APW1XXXXXXXXX </DOCNO>
<DOCTYPE> NEWS STORY </DOCTYPE>
<DATE_TIME> 1998-01-06 00:17:00 </DATE_TIME>
<HEADER>
XXXX
</HEADER>
<BODY>
<SLUG> BC-Sports-Motorcycling-Grand Prix-Doohan </SLUG>
<HEADLINE>
Doohan calls for upgrade to 1000cc bikes 
</HEADLINE>
<TEXT>
       News article text here
</TEXT>
(PROFILE
(WS SL:BC-Sports-Motorcycling-Grand Prix-Doohan; CT:s; 
(REG:EURO;)
(REG:BRIT;)
(REG:SCAN;)
(REG:MEST;)
(REG:AFRI;)
(REG:INDI;)
(REG:ENGL;)
(REG:ASIA;)
(LANG:ENGLISH;))
)
</BODY>
<TRAILER>
AP-NY-06-01-98 0017EDT
</TRAILER>
</DOC>

加载的每个文件都包含多个此类文档，以 <DOC> 开头和结尾。标签。

我不明白是什么导致了这个错误，有人可以帮助我吗？非常感谢您的帮助!

最佳答案

我发现问题是什么，我错误地认为BeautifulSoup在调用doc.find('headline').string时会返回一个字符串，将其替换为str(doc.find ('headline').string) 似乎已经为我解决了这个问题，并且 Whoosh 现在可以正确索引。

关于python - 构建 Whoosh 索引时超出最大递归深度，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54866823/

26

4

0

文章推荐： msbuild - Web Deploy 3.0 不适用于 CI 服务器

文章推荐： python pandas 在两个轴上连接数据帧(在所有方向合并)

文章推荐： python - Pandas - 比较时从字典中获取相应的值

文章推荐： Jquery toggle()、hide() 未按预期工作

超出 API 配额
在文档中我们可以找到 The limits are based on a moving window that tracks the number of requests you send per h
超出 Azure 配额
我试图了解使用 Windows Azure 托管 Web 服务的正确方法。在阅读了一些可用的文档后，我已经达到以下几行: Windows Azure takes the following actio
超出 LDAPException 大小限制
我正在使用 unboundid ldap sdk 来执行 ldap 查询。运行 ldap 搜索查询时遇到一个奇怪的问题。当我对包含 50k 个条目的组运行查询时出现异常。我的异常(exception)
超出 Docker 内存限制
我有以下 docker-compose 文件: version: "2.4" services: auto_check: image: python mem_limit: 97M
超出 MongoDB 副本心跳请求时间
我有副本集(托管在亚马逊上)，其中有: 主要中学仲裁者它们都是 3.2.6 版本，这个副本正在我的分片集群中创建一个分片(如果这很重要，尽管我认为它不重要)。当我在 primary 上键入 r
c++ - 超出 C++ 的界限和未定义的行为
我知道在 C++ 中访问缓冲区边界是未定义的行为。这是来自 cppreference 的示例: int table[4] = {}; bool exists_in_table(int v) {
jquery - 超出 div 时禁用鼠标点击
嗨，我有一个表单的 div。我希望当鼠标离开 div 时禁用单击事件。所以我尝试了这个，但它不起作用，div 仍然可以点击。有什么想法吗？？ var flag = false; $("#foo").l
.net - 超出 HttpClient 缓冲区大小限制
我正在使用我的客户端获取有关存储在我的 Swift 对象存储中的某个文件的一些信息，该文件可以通过 REST Api 访问。在 Swift 中，指向指定对象的 HEAD 方法和 url 返回它的元数据
excel - 超出 Excel 中的最大字符限制
如何在 Excel 的 CONCATENATE 函数中使用超过 255 个字符？我实际上也在 EXCEL 的 HYPERLINK 函数中使用 CONCATENATE 函数。一个例子如下: =HYPER
java - 超出 BufferedReader 的大小限制？
在 java 6 web 应用程序中，我尝试从执行的命令中检索大量输出。我在 javaworld article 上“借用/窃取/基于”它。我面临的问题是，由于输出被截断，长度似乎超出了大小限制。我已
JQuery:超出 RangeError 最大调用堆栈
我有一个更改事件，当选择框更改时会触发该事件。然而，选择框位于被替换的 div 内，因此会重新生成选择框。由于此错误可能是由于无限循环造成的，因此我猜测创建选择框时也必须触发我的触发事件。我尝试了很多
c# - 超出 JavaScriptSerializer maxJsonLength
我正在 visual studio 2013 中用 c# 创建一个网络服务。我已连接到数据库并使用以下代码返回 json。 [WebMethod] [ScriptMethod(ResponseForm
php - 超出 IP 连接限制
我使用 php 脚本解析远程 xml 文件并将网页上的输出打印到 div 中。由于我需要输出必须与当前播放的轨道同步，所以我使用 Javascript 每 20 秒重新加载一次 div 内容。在测试页
c - 超出 read() 的缓冲区大小
#define MAX_BUFF_SIZE 64 char input[MAX_BUFF_SIZE]; int inSize = read(0, input, MAX_BUFF_SIZE); if
c# - 超出 WCF MaxConcurrentSessions
我在申请公司时遇到了问题。我将总结系统的关键要素: 我公司的系统几年前就在 Windows XP 和 7(家庭版、专业版、基本版)机器上运行。它是用 .NET 4.0 编写的，基于 WCF。它使
c++ - 超出 DirectX11 视频内存
我有一个渲染循环，用于监听数位板输入并从顶点/索引缓冲区(以及其他内容)中绘制。顶点数据可以增长，当它达到一定水平时，DispatchMsg(&msg) 会遇到这种情况: Unhandled exce
超出 Java Postgres 连接限制
我通过 Postgres JDBC 驱动程序使用 Java 1.7 和 Postgres。将从 Web 服务使用数据库连接。在测试中，我得到了以下错误: FATAL: connection limit
android - 超出 Firebase 实时数据库限制
我想知道当超过 Firebase 实时数据库的限制时会发生什么。问题是我知道我可以拥有的最大连接数仅为 100。现在，假设我的 Android 应用程序有 1,000 个活跃用户，并且我实现了实时数据
Node.js maxFieldSize 超出
我正在将一组图像上传到我的 node.js Express 服务器，但收到错误 - “错误:超出 maxFieldsSize”。看起来默认的 maxFieldsSize 是 2MB。我需要能够上传最多
python - 超出 Django 最大递归深度
我正在使用 Django 构建一个小型 Web 项目，该项目有一个包含 ImageField 的模型 (Image)。当我尝试使用管理界面上传图片时，我遇到了这个问题(删除了个人身份信息): Runt

首页

博学

6Ren·AI

商城

python - 构建 Whoosh 索引时超出最大递归深度