hadoop - 将数据从 Rest API 加载到 HDFS

Question

我有一个 rest api 的 URL

example: `www.<domainname>/?apikey=1344&host=microsoft.com&records=10 `

example: `www.<domainname>/?apikey=1344&host=timesofindia.com&records=10`

参数可以改变

我从另一个文件中获取这些参数，该文件也是 JSON 格式

["microsoft.com", "cde.com", "timesofindia.com"]

我可以使用 flume 加载这些数据吗，如果可以，请告知可以使用哪种源类型以及如何使用。

如果不是，请建议替代方案。

Answer 1

请查看this .该链接说，您可以使用 ExecSource水槽。