apache-spark - 在应用程序中使用嵌入式 Spark 的缺点

Question

我有一个用例，在这个用例中，我在应用程序服务器中启动本地 spark(嵌入式)，而不是去 spark rest 作业服务器或内核。因为前者(嵌入式 Spark )与其他相比具有非常低的延迟。我感兴趣

• 这种方法的缺点(如果有的话)。
• 同样可以用于生产吗？

附言低延迟是这里的首要任务。

编辑:大多数情况下正在处理的数据大小将小于 100mb。

Answer 1

我不认为这是一个缺点。如果你看一下 Hive Thriftserver 的实现在 Spark 项目本身中，他们还在 Hive Server 中管理 SQLContext 等过程。如果数据量很小并且驱动程序可以轻松处理，情况尤其如此。所以我也将此视为一个提示，这可以用于生产。

但我完全同意，在大数据管道的信息背后，缺乏关于如何将 Spark 集成到面向客户的交互式应用程序中的文档或建议。