python - 减少应用程序和数据库的 I/O

Question

有没有办法减少与 mysql 或 python 脚本相关的 I/O？我正在考虑使用 EC2，成本似乎还可以，但我无法真正预测我的 I/O 使用情况，而且我担心它可能会因成本而让我措手不及。

我基本上开发了一个python脚本来解析数据并将其上传到mysql中。一旦它进入 mysql，我就对它进行一些相当繁重的分析(创建新的列、表……基本上是对大型数据集进行大量基于数学和财务的分析)。那么是否有任何设计最佳实践来避免繁重的 I/O？我认为 memcached 将所有内容都存储在内存中并从那里访问它，有没有办法让 mysql 或其他脚本执行相同的操作？

我现在在另一台具有 2 GB RAM 的主机上运行脚本正常，但我正在查看的 EC2 实例有大约 8 GB，所以我想知道我是否可以使用额外的内存来节省一些钱。

Answer 1

我假设您所说的 IO 是指磁盘 IO...并假设您可以舒适地将所有内容放入内存。你可以:

• 在你的盒子上禁用交换†
• 使用mysql MEMORY表，(或者如果您只是为了方便 SQL 查询而使用数据库，则可能考虑在内存存储中使用 Sqlite3)

此外:除非您使用的是 EBS，否则我认为亚马逊不会对您的实例的 IO 收费。 EBS 比您的实例存储慢得多，因此仅在您需要持久性时才使用它，即。不是在处理数据时。

†可能是个坏主意