node.js - 从服务器传输大数据集并异步可视化数据

Question

有没有办法从服务器流式传输大数据集并使用 dc.js 以异步方式可视化数据？

对数据集进行分块，然后在数据 block 到达时更新客户端上的可视化效果。

赞此页面:http://vcf.iobio.io/?vcf=http://s3.amazonaws.com/vcf.files/ExAC.r0.2.sites.vep.vcf.gz&species=Human&build=GRCh37

Answer 1

我认为您需要做的就是设置所有图表，然后设置一个循环间隔计时器来获取 block 并调用 crossfilter.add然后dc.redrawAll() :

var cf = crossfilter([]); // start with no data
// set up dimensions, groups, and charts, then ...
window.setInterval(function() {
    d3.csv(/* your data source with chunk parameters */, function(error, data) {
        data.forEach(function(d) {
            // preprocess data
        });
        cf.add(data);
        dc.redrawAll();
    });
}, 5000); // or choose an appropriate interval for processing your chunks

可能有一种更智能的方法来链接请求，以便始终有一个正在运行的 ajax 请求，并且浏览器正在处理大量数据。 (可能在最后一个请求到达后立即开始下一个请求。)

但我认为这是最好的入门方式，因为它很容易理解。

我不知道有没有带有 Restful chunk API 的公共(public)数据源，但如果您知道一个并且可以创建一个 fiddle 示例，我相信这个示例会对很多人有所帮助。