- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在构建一个用于记录历史数据的组件。最初我希望它每秒进行大约 30 次写入,而每秒读取少于 1 次。
数据永远不会被修改,只会添加新数据。读取很可能是用新记录完成的。
需求可能会迅速增加,预计一年内大约每秒 80 次写入。
我可以选择分发我的组件并使用 MySql 等通用数据库,或者我可以使用 MongoDb 等分布式数据库。无论哪种方式,我都希望数据库能够很好地处理写入。
数据库必须是免费的。开源将是一个加号:-)
注意:记录是可变大小的纯文本,通常为 50 到 500 个单词。
最佳答案
您的问题可以通过几种不同的方式解决,所以让我们将其分解并查看您提出的个别要求:
写入 - 听起来您正在做的大部分工作都是仅以相对较低的量(80 次写入/秒)追加写入。市场上几乎所有具有合理存储后端的产品都能够处理这个问题。您正在查看正在保存的 50-500 个“字”数据。我不确定什么构成一个词,但为了争论起见,我们假设一个词平均有 8 个字符,因此您的数据将是某种元数据,一个键/时间戳/任何加上 400-4000字字节。除了不同 RDBMS 的具体实现细节外,这仍然很正常,我们可能最多(包括记录开销)每条记录写入 4100 字节。最大每秒 328,000 字节,或者,正如我喜欢说的那样,写入量不多。
删除 - 您还需要能够删除数据。对此我无话可说。删除就是删除。
阅读 - 这就是事情变得棘手的地方。您提到它主要是主键,并且正在对新数据进行读取。我不确定这两个是什么意思,但我认为这不重要。如果您只进行键查找(例如,我想要记录 8675309),那么生活会很美好,您几乎可以使用任何东西。
联接 - 如果您需要能够在数据库处理它们的地方编写实际的联接,那么您已经脱离了主要的非关系数据库产品。
数据大小/数据生命周期 - 这就是事情变得有趣的地方。您估计您的写入速度为 80 次/秒,我猜是每条记录 4100 字节或每秒 328,000 字节。一天有 86400 秒,这给了我们 28,339,200,000 字节。可怕!即 3,351,269.53125 KB、27,026 MB 或大约 26 GB/天。即使您将数据保留 1 年,也就是 9633 GB 或 10TB 的数据。您可以以每月 250 美元左右的价格从云托管提供商处租用 1 TB 的数据,或者以大约 15,000 美元的价格从 EqualLogic 等 SAN 供应商处购买。
结论:我只能想到一些无法处理此负载的数据库。 10TB 有点棘手,需要一些管理技能,您可能需要了解某些数据生命周期管理技术,但几乎所有 RDBMS 都应该能够胜任这项任务。同样,几乎所有非关系型/NoSQL 数据库都应该能够胜任这项任务。事实上,几乎任何类型的任何数据库都应该能够胜任这项任务。
如果您(或您的团队成员)已经具备特定产品的技能,请坚持使用。如果有特定产品在您的问题领域中表现出色,请使用它。
这不是那种需要任何分布式魔法 unicorn 粉的问题。
关于数据库选择 : High-write, 低读,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6666611/
我的问题是如何在 python 中创建一个简单的数据库。我的例子是: User = { 'Name' : {'Firstname', 'Lastname'}, 'Address' : {'Street
我需要创建一个与远程数据库链接的应用程序! mysql 是最好的解决方案吗? Sqlite 是唯一的本地解决方案吗? 我使用下面的方法,我想知道它是否是最好的方法! NSString *evento
给定两台 MySQL 服务器,一台本地,一台远程。两者都有一个包含表 bohica 的数据库 foobar。本地服务器定义了用户 'myadmin'@'%' 和 'myadmin'@'localhos
我有以下灵活的搜索查询 Select {vt:code},{vt:productcode},{vw:code},{vw:productcode} from {abcd AS vt JOIN wxyz
好吧,我的电脑开始运行有点缓慢,所以我重置了 Windows,保留了我的文件。因为我的大脑还没有打开,所以我忘记事先备份我的 MySQL 数据库。我仍然拥有所有原始文件,因此我实际上仍然拥有数据库,但
如何将我的 Access 数据库 (.accdb) 转换为 SQLite 数据库 (.sqlite)? 请,任何帮助将不胜感激。 最佳答案 1)如果要转换 db 的结构,则应使用任何 DB 建模工具:
系统检查发现了一些问题: 警告:?:(mysql.W002)未为数据库连接“默认”设置 MySQL 严格模式 提示:MySQL 的严格模式通过将警告升级为错误来修复 MySQL 中的许多数据完整性问题
系统检查发现了一些问题: 警告:?:(mysql.W002)未为数据库连接“默认”设置 MySQL 严格模式 提示:MySQL 的严格模式通过将警告升级为错误来修复 MySQL 中的许多数据完整性问题
我想在相同的 phonegap 应用程序中使用 android 数据库。 更多说明: 我创建了 phonegap 应用程序,但 phonegap 应用程序不支持服务,所以我们已经在 java 中为 a
Time Tracker function clock() { var mytime = new Date(); var seconds
我需要在现有项目上实现一些事件的显示。我无法更改数据库结构。 在我的 Controller 中,我(从 ajax 请求)传递了一个时间戳,并且我需要显示之前的 8 个事件。因此,如果时间戳是(转换后)
我有一个可以收集和显示各种测量值的产品(不会详细介绍)。正如人们所期望的那样,显示部分是一个数据库+建立在其之上的网站(使用 Symfony)。 但是,我们可能还会创建一个 API 来向第三方公开数据
我们将 SQL Server 从 Azure VM 迁移到 Azure SQL 数据库。 Azure VM 为 DS2_V2、2 核、7GB RAM、最大 6400 IOPS Azure SQL 数据
我正在开发一个使用 MongoDB 数据库的程序,但我想问在通过 Java 执行 SQL 时是否可以使用内部数据库进行测试,例如 H2? 最佳答案 你可以尝试使用Testcontainers Test
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 已关闭 9 年前。 此问题似乎与 a specific programming problem, a sof
我正在尝试使用 MSI 身份验证(无需用户名和密码)从 Azure 机器学习服务连接 Azure SQL 数据库。 我正在尝试在 Azure 机器学习服务上建立机器学习模型,目的是我需要数据,这就是我
我在我的 MySQL 数据库中使用这个查询来查找 my_column 不为空的所有行: SELECT * FROM my_table WHERE my_column != ""; 不幸的是,许多行在
我有那个基地:http://sqlfiddle.com/#!2/e5a24/2这是 WordPress 默认模式的简写。我已经删除了该示例不需要的字段。 如您所见,我的结果是“类别 1”的两倍。我喜欢
我有一张这样的 table : mysql> select * from users; +--------+----------+------------+-----------+ | userid
我有表: CREATE TABLE IF NOT EXISTS `category` ( `id` int(11) NOT NULL, `name` varchar(255) NOT NULL
我是一名优秀的程序员,十分优秀!