c++ - 最快/最好的方法来对数据库中的数据进行序列化和反序列化

Question

Closed. This question is opinion-based。它当前不接受答案。












想改善这个问题吗？更新问题，以便 editing this post用事实和引用来回答。

6年前关闭。



Improve this question




再过几个月，我将开始写我的学士论文。尽管我们只是非常粗略地讨论了论文的主题，但主要问题将是这样的:

必须执行以C++编写的程序(或多或少是HTTP服务器，但我想在这里没关系)才能完成其任务。该程序有多个实例同时运行，并且负载均衡器负责在所有实例之间均等分配http请求。每次更改程序代码以增强功能或消除bug时，都必须重新启动所有实例。一次最多可能需要40分钟。由于运行的实例超过十个，因此重新启动过程最多可能需要一个工作日。这是减慢速度的方法。

假定的瓶颈是在启动期间访问数据库以加载所有必需的数据(猜测它将是mysql数据库)。团队负责人减少启动过程所需时间的想法是将数据库的内容序列化为文件，然后从该文件读取而不是从数据库读取。那是我的任务。当然，问题是要检查数据库中是否有新数据，而不是文件中是否有新数据。我猜写过程仍然应用于数据库，而不是序列化文件。我的第一个想法是使用apache thrift进行序列化和反序列化，因为据我所知，它是快速的(据我所知(也许我写了一些小python程序来解决这个问题))。但是，关于此问题，我有一些基本问题:

从文件读取而不是从数据库读取是否是一个好的解决方案。有机会节省时间吗？

在这种情况下，节俭将很好地工作，或者是否存在一些更快的序列化/反序列化方法

因为我只是阅读而不是写作，所以我不必照顾一致性，对吗？

您是否可以推荐一些值得阅读的有关该主题的书籍或在线文献。

如果我缺少信息，请问。提前致谢。在开始撰写论文之前，我只是想充分了解情况并做好准备，这就是为什么我要问。

亲切的问候

麦可

最佳答案

缓存为王

作为一般建议:缓存为王，但不要使用文件。

缓存？什么缓存？

我所说的缓存当然是一个外部缓存。有很多可用的系统，其中许多系统都可以构成一个缓存集群，其中缓存的项目分布在多台计算机的RAM中。如果您做得很聪明，则与磨数据库的成本相比，序列化/反序列化到内存中的成本将使您的算法大放异彩。最重要的是，您还获得了不错的功能，例如用于缓存数据的TTL，即使业务逻辑崩溃也可以保留的缓存等等。

一致性如何？

As I am only reading, not writing, I don't have to take care of consistency, right?

错误。问题不在于谁写入数据库。它与某人是否写入数据库有关，这种情况多久发生一次，以及您的数据需要如何更新。

即使您按照问题计划的方式将数据缓存到文件中，也必须注意，这会产生冗余数据重复，并与原始数据源断开连接。因此，您必须回答的真正问题(我无法为您完成)是，最佳更新频率应为多少。您需要在近期内立即更新吗？一定的时滞可以接受吗？

这恰好是您可以将TTL(生存时间)值放入缓存数据中的目的。如果需要更频繁的更新，请设置较短的TTL。如果可以以较低的频率进行更新，请相应地设置TTL或运行计划的任务/线程/进程来执行更新。

好，了解。怎么办？

checkout Redis或“oldtimer” Memcached。您并未对平台进行过多说明，但是同时提供Linux和Windows版本(特别是在Windows上，Redis会给您带来更多乐趣)。

PS:哦，是的，Thrift序列化可用于序列化部分。

关于c++ - 最快/最好的方法来对数据库中的数据进行序列化和反序列化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23394217/

上一篇：mysql - 如何使用多列和自动递增 ID 创建主键？

下一篇：database - 如何访问kaha db中的文件

相关文章：

c++ - 循环在此代码中仅迭代一次，而在另一代码中它正确迭代

java - 有没有办法保存包含节点和边的图形对象？

Java 序列化与 JSON

c++ - 串行分配器/释放器

android - 在Ubuntu Linux中如何更方便高效的查找C/C++源码？

c++ - 将 Unicode 命令行参数传递给控制台应用程序

php - 将错误存储在数据库中的错误函数

c# - C# 和 Php 的 Unicode 问题

php - 如果取值，则自动增加唯一列

php - Magento session 在哪里序列化？

Answer 1

缓存为王

作为一般建议:缓存为王，但不要使用文件。

缓存？什么缓存？

我所说的缓存当然是一个外部缓存。有很多可用的系统，其中许多系统都可以构成一个缓存集群，其中缓存的项目分布在多台计算机的RAM中。如果您做得很聪明，则与磨数据库的成本相比，序列化/反序列化到内存中的成本将使您的算法大放异彩。最重要的是，您还获得了不错的功能，例如用于缓存数据的TTL，即使业务逻辑崩溃也可以保留的缓存等等。

一致性如何？

As I am only reading, not writing, I don't have to take care of consistency, right?

错误。问题不在于谁写入数据库。它与某人是否写入数据库有关，这种情况多久发生一次，以及您的数据需要如何更新。

即使您按照问题计划的方式将数据缓存到文件中，也必须注意，这会产生冗余数据重复，并与原始数据源断开连接。因此，您必须回答的真正问题(我无法为您完成)是，最佳更新频率应为多少。您需要在近期内立即更新吗？一定的时滞可以接受吗？

这恰好是您可以将TTL(生存时间)值放入缓存数据中的目的。如果需要更频繁的更新，请设置较短的TTL。如果可以以较低的频率进行更新，请相应地设置TTL或运行计划的任务/线程/进程来执行更新。

好，了解。怎么办？

checkout Redis或“oldtimer” Memcached。您并未对平台进行过多说明，但是同时提供Linux和Windows版本(特别是在Windows上，Redis会给您带来更多乐趣)。

PS:哦，是的，Thrift序列化可用于序列化部分。