mysql - 对 2000 万条以上记录的云数据库的建议？

Question

我将运行一个只有很少表的应用程序，但一个表大约有 30-50K 行，另一个表有 20-25M 行，我需要执行一些使用多个列上的一些 LIKE 子句以及列上的其他限定子句。

数据会每月刷新一次，因此只会读取，不会写入或更新。

Google bigQuery 在结合“喜欢”搜索和“排序依据”方面表现不佳，所以我很 panic 。像这样的搜索实际上会引发资源错误或需要数百秒才能执行:

SELECT
s.site as site,
s.rank as rank,
s.visitors as visitors,
s.store_id as store_id,
s.currency as currency,
p.title as title,
p.product_type as product_type,
p.handle as handle,
p.price as price,
p.created_at as created_at,
p.image_url as image_url,
p.description as description
FROM eComData.stores s INNER JOIN eComData.products p
ON s.store_id = p.store_id
WHERE (
    title like '%foo%'
    OR
    product_type like '%foo%'
    OR
    description like '%foo%'
)
ORDER BY rank
LIMIT 1000 OFFSET 0

您建议使用哪种云解决方案来处理大型数据集，更重要的是，查询速度更快？

我的选择是1) 优化 Google bigQuery 以运行得更快(看起来不太好)2) 谷歌数据存储3)亚马逊极光4) 亚马逊 DynamoDB

我想听听您对上述任何解决方案的体验，并期待您的建议。谢谢!

Answer 1

您的数据有 2000 万行。它根本不是真正的大数据规模。

试试 aws redshift。它是一个用于存储结构化数据的 aws 原生数据仓库。它具有内置的自动缩放功能，您可以在其中线性扩展。

• 老师