python - 如何存储标记化的结果以供进一步索引？

Question

我完全是个初学者，现在正尝试用 python 实现一个简单的搜索引擎。

我通过 NLTK 中使用的函数很好地完成了 tokenizer。但我现在对存储分词器的结果感到困惑。我需要保留它们以供进一步索引。

执行此操作的常用方法是什么？我应该使用什么样的数据库？

Answer 1

Introduction to Information Retrieval由 Manning、Raghavan 和 Schütze 撰写，用几章专门介绍索引构建和存储； Modern Information Retrieval也是如此作者:Baeza-Yates 和 Ribeiro-Neto。

不过，对于一个简单的爱好/学习项目，SQLite足以用于索引存储。您需要一个包含 (term, document-id, frequency) 三元组的表来计算 tf 和一个存储 (term, df) 对的表，两者都带有术语索引；这足以计算 tf-idf。