ckan - CKAN 是否能够处理 10 万多个文件和 TB 数据？

Question

我们想要做的是为我们的实验室成员创建一个本地数据存储库来组织、搜索、访问、编目、引用我们的数据等。我觉得 CKAN 可以做所有这些事情；但是，我不确定它将如何处理我们实际拥有的数据的这些任务(我可能是错的，这就是我问的原因)。

我们的实验室正在采购大量数据供内部使用。我们希望能够在我们的组内对这些数据进行编目和组织(也许是 CKAN？)，以便人们可以将数据推送到目录中，并提取数据并使用它。一些用例是，拥有数据的 ACL、Web 界面、搜索、浏览、组织、添加、删除、更新数据集等。虽然 CKAN 看起来非常适合这一点，但问题在于数据(更多所以数量)我们正在努力处理。

我们想要对 TB 级图像(200k+ 图像)、各种格式的地理空间数据、Twitter 流(TB 的 JSON 数据)、数据库转储文件、二进制数据、机器学习模型等进行编目。我认为它不会将 100k 64MB JSON 文件作为资源添加到 CKAN 数据集是否合理？我们意识到我们将无法在此 JSON/图像/地理数据中进行搜索，这很好。但是我们想知道我们是否有可用的数据(例如，我们搜索“twitter 2015-02-03”)，如果您愿意的话，这是一种元数据搜索。使用 CKAN 中的本地文件存储，如果用户请求 200k 图像会发生什么？当系统必须回答这些请求时，它会变得无响应吗？

我在 datahub.io 上看到过 CKAN，其中绝大多数是小型 CSV 文件、小型 2-3MB zip 文件，以及数据集中不超过 20 或 30 个单独文件。

那么 CKAN 有能力做我们想做的事吗？如果没有关于替代品的任何建议？

编辑更具体的问题而不是讨论:

我环顾四周并在谷歌上搜索有关此主题的信息，但我没有看到具有任何大量数据的已部署系统。

我可以上传的文件大小是否有限制(例如压缩的 400GB 数据库文件)？

我作为资源上传到 CKAN 中的数据集的文件数量是否有限制？ (例如，我创建了一个数据集并上传了 250,000 个 64MB JSON 文件并且系统可以使用？)

UI 似乎不支持同时上传多个文件的功能(例如，将数据文件夹作为资源)。是否有支持此功能的工具/扩展程序/插件？

一种。是否有任何限制会阻止我使用 CKAN API 来实现这一目标？

Answer 1

我们在自然历史博物馆 (data.nhm.ac.uk) 使用 CKAN 来获取一些相当大的研究数据集——我们的主要标本收藏有 280 万条记录——而且它处理得很好。我们不得不使用一些自定义插件扩展 CKAN 以使其成为可能 - 但它们是开源的并且可以在 Github 上获得。

我们的 datasolr 扩展将查询大数据集移动到 SOLR 中，它比 postgres 更好地处理索引和搜索大数据集(无论如何都在我们的基础设施上)- https://github.com/NaturalHistoryMuseum/ckanext-datasolr .

为了防止用户下载大文件时 CKAN 崩溃，我们将打包和下载移到了单独的服务和任务队列。

https://github.com/NaturalHistoryMuseum/ckanext-ckanpackager
https://github.com/NaturalHistoryMuseum/ckanpackager

所以是的，带有一些贡献插件的 CKAN 绝对可以处理更大的数据集。我们还没有用 TB+ 数据集对其进行测试，但明年我们会使用 CKAN 发布一些系统发育数据。