javascript - Spark 2.0.0 - JSON 格式错误的输出

Question

我正在使用 Spark 和 Scala 处理数据，并将其保存在 json

df2.write.mode("overwrite").json("mydata")

输出看起来像这样:

{"GPS_LAT":xx.xxxxx,"GPS_LONG":xx.xxxxx,"count":10063}
{"GPS_LAT":xx.xxxxx,"GPS_LONG":xx.xxxxx,"count":3142}
{"GPS_LAT":xx.xxxxx,"GPS_LONG":xx.xxxxx,"count":7766}

我使用数据创建一个使用 d3 的可视化，使用 d3.json:

d3.json("mydata.json", function(d){
                console.log(d)
};

我的问题是 d3.js 期望 json 的格式如下:

[{"GPS_LAT":xx.xxxxx,"GPS_LONG":xx.xxxxx,"count":10063},
{"GPS_LAT":xx.xxxxx,"GPS_LONG":xx.xxxxx,"count":3142},
{"GPS_LAT":xx.xxxxx,"GPS_LONG":xx.xxxxx,"count":7766}]

谁错了？ Spark 还是 d3？我可以做些什么来缓解这种情况而不必手动添加 [,]？

Answer 1

我不了解 Spark，但我可以说这不是有效的 JSON，您只有一堆未包装在数组中的对象。所以，对于“谁错了？”，我会说 Spark。

但是有一个(丑陋的)解决方法。使用 d3.text 加载那个东西(那一堆对象):

d3.text("data.json", function(data){});

然后，您的data 将是一个字符串。下一步是用新行拆分字符串:

data = data.match(/[^\r\n]+/g);

然后，我们将其转换为一个对象数组:

data = data.map(function(d){
    return JSON.parse(d)
});

一起:

d3.text("data.json", function(data){

    data = data.match(/[^\r\n]+/g);
    data = data.map(function(d){
        return JSON.parse(d)
    });
    //now you can use 'data' here

});

检查这个插件中的控制台:https://plnkr.co/edit/ER1oXyWZL62dwxlgaenP?p=preview

而且，现在您有了一个对象数组，您可以将它传递给您的 D3 代码。

PS:如果数据中有日期，这可能不起作用。