mysql - 我应该使用文件还是数据库？

Question

我正在构建一个云同步应用程序，它可以跨多个设备同步用户数据。我正处于十字路口，正在决定是将数据作为文件存储在服务器上还是存储在关系数据库中。我正在使用 Amazon Web Services，如果我选择将数据存储在表中，我将使用 S3 来存储用户文件或其数据库服务。我存储的数据是应用程序每十秒的状态。这在数据库中存储可能会出现问题，因为每个用户存储的平均行数为 100,000 行，而我当前的用户群为 20,000 人，这意味着 20 亿行。将这些信息存储在文件中会更好吗？因为每个用户大约有 100 个文件，总计 6 MB。

Answer 1

正如评论中所讨论的，我会将它们存储为文件。

S3 非常适合作为键/值存储，如果您能够区分更改并确保不会不必要地重复数据负载，则通过下载相关文件来实现同步会容易得多来自 S3 并在客户端同步它们。

您无需操作可以存储大量行的数据库服务器并保持快速将它们提供给客户端，从而节省大量成本。

我唯一真正担心的是，如果您想将多个用户之间的统计/数据/信息聚合为后端或管理 View ，这些文件中的数据可能难以解析。您将无法编写简单的 SQL 查询来汇总值等，并且必须打开相关文件，使用 awk 或正则表达式等处理它们，然后计算方式。

您可能会在客户端对与该用户相关的特定文件执行此操作，因此可能存在一些重叠!