apache-spark - PySpark 结构化流 : Pass output of Query to API endpoint

Question

我在结构化流中具有以下数据帧:

TimeStamp|Room|Temperature|
00:01:29 | 1  | 55        | 
00:01:34 | 2  | 51        | 
00:01:36 | 1  | 56        | 
00:02:03 | 2  | 49        | 

我试图检测温度何时低于特定温度(在本例中为 50)。我已经完成了查询的那部分工作。现在，我需要通过 POST 调用将此信息传递到 API 端点，如下所示:“/api/lowTemperature/”，并在请求正文中包含时间戳和温度。因此，在上述情况下，我需要发送:

POST /api/lowTemperature/2
BODY: { "TimeStamp":"00:02:03",
       "Temperature":"49" }

知道如何使用 PySpark 实现此目的吗？

我想到的一种方法是使用自定义流接收器，但是，我似乎找不到任何有关使用 Python 实现此目的的文档。

Answer 1

好消息，ForeachWriter 最近添加了对 Python 的支持。我用 Python 为 REST 和 Azure 事件网格创建了一个，它相当简单。(基本)文档可以在这里找到:https://docs.databricks.com/spark/latest/structured-streaming/foreach.html#using-python