lua - 如何定时向第三方服务发送Redis数据？

Question

我需要在我的应用程序中构建某种分析功能。在高峰时段，我预计每秒会收到 15K 条新记录。为了提高速度，我将使用 Redis 进行写入。但是写入的数据应该被格式化并以某种方式发送到 BigQuery for OLAP。最有效的方法是什么？

我可以想到两种方法:

1. 有一个单独的应用程序将连接到同一个应用程序Redis实例/集群并定期获取写入的数据和使用他们的 API 批量插入到 BigQuery。
2. 使用 Lua 脚本定期发送 Redis 键和值到BigQuery。

根据我的阅读和研究，Lua 脚本似乎是一个快速的解决方案。但是我没有任何经验，也不知道有什么限制。例如，我可以通过 Redis 运行的 Lua 脚本发送 HTTP API 调用吗？错误处理呢？

问题是:

为了满足我上面提到的需求，您有什么建议？

• a) 一个单独的应用
• b) Lua脚本
• c) 混合
• d) 其他(那么，什么？)

当然，为什么？

谢谢

Answer 1

您尝试过 AfterShip BigQuery 流媒体吗？

• https://github.com/AfterShip/bigquery-streamer

它似乎完全可以满足您的需求:“这是一个使用流插入模式将 Redis 记录传输到 Google BigQuery 的流媒体。”