azure - 读取流 .meta 文件期间通配符的行为？

Question

我正在研究实时流媒体。当我尝试读取所有以 .json 结尾的 json 文件时，readstream 也会读取以 .json.meta 结尾的文件。如何摆脱 .meta 文件。

在存储帐户中，我有相同的文件，一个以 .json 结尾，另一个以 .json.meta 结尾

Answer 1

我复制了您的代码，并且我得到的文件仅具有扩展名.json，如下所示。

以下是我拥有的文件。

所以，尝试重新启动集群并尝试。

如果您仍然收到此.json.meta 文件，请按如下方式过滤掉。

filtered_streaming_df = dfProduc.filter(dfProduc["FileName"].like("%.json"))

首先，我读取了如下所有文件，因为我得到了正确的 json 文件。

然后我过滤了它们。

输出: