apache-spark - 嵌套 json 中的结构化流式传输不同模式

Question

您好，我有一个场景，其中传入消息是一个 Json，它的标题是表名，数据部分具有表列数据。现在我想将其写入 parquet 以分隔文件夹，例如 /emp 和 /dept。我可以通过基于 tablname 聚合行在常规流中实现这一点。但是在结构化流媒体中我无法拆分它。我怎样才能在结构化流中实现这一目标。

{"tableName":"employee","data":{"empid":1","empname":"john","dept":"CS"} {"tableName":"employee","data":{"empid":2","empname":"james","dept":"CS"} {"tableName":"dept","data":{"dept":"1","deptname":"CS","desc":"COMPUTER SCIENCE DEPT"}

Answer 1

我通过循环遍历预期表的列表并针对每个然后从数据框中过滤记录并应用特定于表的架构和编码器，然后写入 sink 。所以读取只发生一次，并且每个表都会调用 writeStream 并且它工作正常。感谢大家的帮助

这也会根据表对 parquet 输出文件夹进行动态分区。