- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在为一个巨大的数据库项目工作,我正在开发一个应用程序,它会立即填充 GB 的数据,我想知道在数据库设计过程中我需要注意的要点,请尽快提出建议。
谢谢
最佳答案
所以 8Tb 对于开始来说并不是那么大,我在 Sql Servers 上管理 2Peta,我可以向你保证三件事:
理解了这些要点后,我希望以下建议对您有所帮助:
现在 8TB 有各种用途,您没有说明您将如何使用它或用于什么,所以我假设您将通过以下方式之一使用它:
一个。高写入负载,简单的提取查询,例如: Select * form table where id =98 ; Id被索引
高写入负载,复杂查询 选择SUM(price) form table where id =98 and field2 IN (a,b,c);
中等工作负载,大量选择查询
所以你应该使用索引字段,你拥有的索引越多,它会占用更多的磁盘空间,插入\更新将花费更长的时间,但选择会更快。
如果你计划高查询率,你必须使用 Innodb,MyIsam 会锁定表,你会卡住。
考虑使用 Master/Slave Scheme 来分担负载,所以所有的选择和备份都应该在从机上运行。
对您的查询运行分析并了解要索引哪些字段,您还可以查看分区以更好地管理您的表,但要注意在错误的键上进行分区它会杀死您的服务器。
确保你的服务器有足够的 IO,MySql Love Io(从磁盘读/写)如果你有 SSD 应该更好。也尝试分配尽可能多的 Ram,InnoDB 可以将所有表上传到 RAM(查看 innodb 的 MyCNF 配置)。
安装 Percona 而不是 MySQL,这将更好地用于:复制、备份、方案更改、表的名称更改、错误日志、表锁定控制等等
运行优化表并提前计划维护,为每个 Scanrio 制定危机计划
备份你的表
练习 Bakcup 恢复
Use file per table,这是一个关键的配置,可以帮助你恢复你的表,否则 mysql 在每个数据库的大文件上创建
取消ip解析,可以节省CPU
有趣的是,MySql 中唯一键的最高数字是 17.. 以备不时之需
删除您不需要的数据,创建脚本来监控需要哪些数据,不要成为一个愚蠢的 DBA 有很多不必要的数据。要求知道数据生命周期并用它来清理y
如果写入率太高,计划使用 ETL .. 例如:保存所有写入的 Memcache,每 5 分钟一次 - 创建多插入查询并在一个查询中写入,最小化 session ..如果不需要实时查询这些数据,当然可以。
如果有一个写入需要将数据写入 SQL 以获得唯一 ID.. 那么这在大量情况下是危险的。这取决于您的硬件。总的来说它很愚蠢。如果你不是在经营银行,那真的没必要.. 尝试创建随机的唯一编号
以易于理解的方式设计您的表格。写下评论,它有一天会对您有所帮助
我希望这对您有所帮助,如果您有任何问题或可以分享更多数据以帮助我更好地了解您的需求,请随时发表评论。
关于mysql - 如何处理超过 8 TB 的巨大 Mysql 数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27520038/
我使用这个 cmd 应用程序 https://github.com/tokland/youtube-upload 上传 50 个视频后,我收到此错误: [RequestError] Server re
尝试将 docker 容器提交到镜像时出现错误: [root@dockerregistry /]# docker commit da4180ab1536 dockerregistry:5000/myi
我只是想知道这样做会更好吗: if((fd = open(filename, O_RDWR)) == -1) { fprintf(stderr, "open [ %s ]\n", strerror(e
我在我的开发机器(单个笔记本)中使用 Elasticsearch 1.4.4。一切都设置为默认值,因为我从未更改过任何设置。 当我启动它时,我通常会收到以下消息: [2015-10-27 09:38:
我收到错误 Lock wait timeout exceeded;尝试重新启动事务。这是什么原因,如何解决?仅供引用:MySQL 配置文件中的 innodb_lock_wait_timeout = 1
我对 Slack 中的 block 功能有疑问。有人设法构建 3 列而不是 2 列吗? 我凭直觉尝试了以下代码,但它不起作用: { "blocks": [ {
div 中的内容超过由 css 决定的固定大小。 #fixeddiv { position: fixed; margin: auto; max-height: 300px
我想将 EditText 字段限制为 150 个字符,我可以很容易地做到这一点。但是,当用户试图超过该限制时,我还需要通过键入(即第 151 个字符)或粘贴超过 150 个字符来提醒用户。 解决这个问
我目前正在使用此代码并排记录两个窗口: ffmpeg -f gdigrab -framerate 30 -i title="" -f gdigrab -framerate 30 -i title=""
我在几个包含长字符串的单元格上使用嵌套的 SUBSTITUE 函数,并定期更新 SUBSTITUE fx,这导致我将其复制并粘贴到所有需要它的单元格中。问题是,我的 SUBSTITUTE 列表会随着时
我创建了一个标题 div,如下所示:
Here is the demo link 您怎么看,页面中只有 8 个广告可见,但我有 14 个广告。我已阅读有关广告限制的信息 here但不明白是不是我的情况?有人可以给我确切的答案,为什么我看不
我的非常简单的算法 - C 中的快速排序有问题。它非常有效(随机化大约 0.1 秒并检查列表是否已排序)但是当我想要对超过 500k 的元素进行排序时它会崩溃。不幸的是,我需要对它们进行更多排序,因为
我成功解决了一个关于 Hackerrank 的问题,它通过了所有测试用例,但我得到了一个错误,超过了时间限制。我猜如果我优化我的代码它会工作,但我想不出任何方法来使我的代码更有效率。 问题是: 对大小
你会如何用 包围下面的文字3 个反引号 ```使用 tpope 的 Vim Surround . 我所能做的就是 1 个反引号 使用 S`在视觉模式下: 最佳答案 这不是你问的,但这可以在没有环绕的情
我目前有一个模拟账户。我正在尝试为我的雇主使用 SwifType 制作 POC。我们有一个非常大的数据库,每 1 小时索引一次,并创建一个 JSON 文件。我认为与 Elastic 的集成将非常容易,
我为一个大约有 100 到 120 名成员的小型组织维护网站。 每个月,我们都会发送一封电子邮件,通知我们的成员我们将在即将举行的 session 中讨论的主题。 我正在尝试使用我们的网站为我们提供一
这个问题已经有答案了: How to automatically input an array formula as string with more than 255 characters in l
我有一个在 JBoss 6.1 中运行的 JSF 应用程序,它使用内部Tomcat Servlet 容器。 我已经通过apache commons文件上传实现了上传。我想防止上传过大的文件并设置了属性
当我尝试在 PyMySQL 上执行查询时,出现以下错误: pymysql.err.InternalError: (1205, 'Lock wait timeout exceeded; try rest
我是一名优秀的程序员,十分优秀!