csv - 使用 NodeJS 从 URL 解析/保存/获取 csv 响应

Question

我正在尝试从雅虎财经 URL 获取结果:

http://finance.yahoo.com/d/quotes.csv?s=XOM=sn1yr返回:

"XOM",4:00pm - <b>83.25`</b>`,2.11,13.42

我正在尝试使用 Mongoose 将这些结果存储在数据库中。我有一些代码可以从现有的 CSV 文件中保存(如您所见，具有不同但相关的内容):

 var writer = new csv.CsvWriter(process.stdout);
  reader.setColumnNames(["Symbol","Company","StockExchange"]);
  reader.addListener('data', function(data) {
  console.log(data);
  var stock = new Stock(data).save();
 });

我正在尝试做类似的事情:

Scraper 是一个位于 https://github.com/mape/node-scraper 的模块

scraper('http://search.twitter.com/search?q=javascript', function(err, $) {
if (err) {throw err;}

$('.msg').each(function() {
    console.log($(this).text().trim()+'\n');
});
 });

但是使用来自 Yahoo URL 的 CSV 结果，而没有将响应放入单独的 CSV 文件中，并被告知我需要以某种方式使用stream.write。我是 Node 新手，希望得到一些帮助来解决这个问题。预先感谢您的帮助!

Answer 1

所以您正在尝试从 http://finance.yahoo.com/d/quotes.csv?s=XOM=sn1yr 获取 CSV并解析数据以便将其存储在数据库中？

我的抓取库 node.io或许能帮上忙。

require('node.io').scrape(function() {
    this.get('http://finance.yahoo.com/d/quotes.csv?s=XOM=sn1yr', function(err, data) {
        var lines = data.split('\n');
        for (var line, i = 0, l = lines.length; i < l; i++) {
            line = this.parseValues(lines[i]);

            console.log(line); //['XOM, '4:00pm - <b>83.25`</b>`', '2.11', '13.42']

            //Do something with your data..
        }
    });
});