wiki - 如何使用维基下载的索引文件中提供的信息？-6ren

wiki - 如何使用维基下载的索引文件中提供的信息？

转载作者：行者123 更新时间：2023-12-04 06:36:16

25

4

我正在尝试使用维基数据对中国人进行一些研究。除了使用dbpedia(因为与zh.wikipedia.org相比，关于中国人的信息有点有限)，我发现我可以直接从zhwiki下载http://download.wikipedia.com/zhwiki/20150301/ .

我看到有一个索引文件，从文件中我可以看到如下行:
966576:291:人物

我认为这是一个查找键？有人能告诉我如何使用这个查找键来搜索主文件或数据库吗？

最佳答案

有两个文件

zhwiki-20150301-pages-articles-multistream.xml.bz2 1.1 GB - 它有
多个 bz2 流，每个流 100 页

zhwiki-20150301-pages-articles-multistream-index.txt.bz2 18.8 MB - 索引文件

索引文件有行

offset1:pageId1:title1

offset1:pageId2:title2

..

offset2:pageId101:title101
等等。

offset 是 bz2 流的起始偏移量。您需要从 bz2 文件中从 offset1 到 offset2 读取字节并将它们传递给 bz2 解码器，它将为您提供来自该流的 100 页的 xml 转储

关于wiki - 如何使用维基下载的索引文件中提供的信息？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29020732/

25

4

0

文章推荐： serialization - Java ME 对象持久化

文章推荐： ruby-on-rails - ActiveRecord 与 SQL 原始查询？

文章推荐： ruby-on-rails - 如何在 ActiveRecord 中创建 'OR' 语句？

文章推荐： ruby-on-rails - 一起模拟 rspec 和 mocha

c# - 文件正在通过 visual studio 下载，而不是通过 .exe 下载
当我尝试通过我的 .exe 文件从 url 下载 .pdf 文件时出现以下错误。 The server committed a protocol violation. Section=Response
google-cloud-platform - 从 G Suite 下载 Google 外卖从 Google Cloud Storage 下载
我是一家非营利组织的 G Suite 管理员，刚刚发现数据导出功能，这似乎是个人帐户的外卖。导出文件已准备好，现在可以从 Google Cloud Platform Storage 中的存储桶下载。
七牛云私有空间图片上传、下载
导航引言总体思路七牛云相关的配置文件获取七牛云上传token 相关类定义核心代码实现获取七牛云图片下载链接公开空
下载 PDF 而不是在新标签页中打开
这不是后端编程问题。我只能修改标记或脚本(或文档本身)。我在这里问的原因是因为我对适当术语的所有搜索都不可避免地导致有关编程此功能的问题和解决方案。我不是试图通过编程来强制它；我必须找出此 PDF 行
AdSense SDK 下载
您好，我已在 Google AdSense 中注册，我想使用适用于 iOS 的 SDK，但目前我找不到 SDK 下载链接。我的申请已获批准。任何人都知道如何下载这个sdk。我使用这个链接来描述如
github 下载 - 只能是平面文件系统吗？
我需要为当前在 SourceForge 上的 github 项目提供二进制文件和文档。在那里，我可以为我需要的下载提供一个目录结构，因为我必须为大约 10 个不同的操作系统提供几个版本。 github
JavaScript Canvas 下载
我从 Canvas 下载绘图时遇到问题。这是我的代码: function downloadCanvas(link, canvasId, filename) { link.href =
特定用户的 Azure 下载
ASP.NET 项目我将使用 Azure 进行存储。问题(要求): 在我的项目中，我让注册用户下载文件。但我不希望用户将此下载链接分享给未注册的人(例如:我给注册用户的下载链接只能在他们的计算机上下
Java Servlet 下载
我编写了一个servlet，用于检查http header ，但我不知道为什么当页面加载时，它会自动开始下载。 /* * To change this template, choose To
JavaFX WebView 下载
我正在尝试将下载添加到我的网络浏览器，但遇到的问题是获取您尝试下载的文件的名称。这是我的下载代码: engine.locationProperty().addListener(new ChangeLi
Java 下载 html
我正在尝试下载网站的 html: String encoding = "UTF-8"; HttpContext localContext = new BasicHttpContext();
java - 为什么当我开始此操作时我的框架会卡住[下载]
我制作了一个带有“开始下载”按钮的框架，用于从网站下载 JAR。问题是每当我点击开始下载按钮时，整个框架就会卡住，直到下载完成，然后就正常了。我该如何解决这个问题？这是单击按钮时执行的代码 p
iOS NSURLSession 下载
我得到这段代码来实现一些东西，它可以帮助我从给定的 URL 下载文件。 -(void)URLSession:(NSURLSession *)session downloadTask:(NSURLSes
java - 流媒体上传/下载
我正在尝试创建一个 Controller 来使用流方法下载和上传文件，在我的例子中，所有文件都作为 Blob 保存在数据库中。我阅读了 Jboss Netty 的文档，但我认为这不是我的最佳解决方案。
下载 Alamofire 后快速保存文件
下载并保存文件 let destination: DownloadRequest.DownloadFileDestination = { _, _ in // var fileURL = sel
html - htaccess访问/下载
使用 htaccess 我基本上试图禁止访问该页面，即 http://example.com , 但它仍然允许人们下载文件，如果他们有直接链接即 http://example.com/hi.zip .
Linux - 下载/解压脚本
我正在寻求将脚本与我的控制面板集成，并且由于我是新手脚本编写者而遇到问题。我想做的是用 1 个脚本下载一个文件并解压它。示例: wget http://example.com/example.tar
android ffmpeg .so 下载
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭 7 年前。
php - 如何保护网站免受批量抓取/下载？
这个问题在这里已经有了答案: Top techniques to avoid 'data scraping' from a website database (14 个答案) 关闭 5 年前。我有
Python-Gmail邮件检索/下载
这个问题在这里已经有了答案: Reading and parsing email from Gmail using C#, C++ or Python (6 个答案) 关闭 7 年前。我只是想，是

首页

博学

6Ren·AI

商城

wiki - 如何使用维基下载的索引文件中提供的信息？