php - 直接解析json文件并将其存储到hadoop，并直接查询hadoop以获取所需的数据

Question

在我的项目中，大量数据以json格式来自服务器。为了获取此数据，计划将cron任务每小时运行一次，并返回我们将其保存到文件中的那一小时的数据。
这组数据将用于分析目的，并且将基于要提供分析报告和图形的图表提供许多测量点。
现在由于数据量很大，因此决定使用HADOOP进行数据存储。
我读了很多文章，发现有一个用于输入处理的映射器文件和一个用于输出的reducer文件，但找不到动态数据的好例子。

但是我想知道我们如何直接解析我的json文件并将它们存储到hadoop并直接查询hadoop以获取所需数据并从Php / Javascript访问。

请向我建议进行的方法和/或示例。

Answer 1

我以前有过类似的情况，并使用json2csv将json文件转换为csv，然后将结果加载到Hive中进行进一步分析。

当然，仅当您的json模式是固定的(即，您事先知道要映射的字段)时，此方法才有效。

查看文档，其中有一个非常清晰的示例说明了如何使用该工具。