javascript - Heroku Twitter API 应用部署

Question

我最近通过Heroku成功部署了一个node.js服务器，机器可以在这里找到:https://congress-tracker-app.herokuapp.com/

它基本上是与 Twitter 的 API 通信，每次从我的预定义参数集(在本例中为推文的 ID)接收到一条推文时，它都会更新一个 .csv 文件。然后我使用 D3.js 显示该 CSV 以可视化数据。

正在使用 D3 javascript 库提取数据...d3.queue().defer(d3.csv, "public/data/twitterData.csv").await(更新)

然后更新回调函数传递数据，并创建我的可视化。

我有两个问题:

1. 我无法让应用程序在后台运行，也就是在网页未打开时更新 CSV。我希望 Twitter API 继续与我的应用程序通信，这样数据就会随着时间的推移而积累，而无需有人保持页面打开。它是通过 Twitter 的流 API 获取的。

2. 重新加载应用程序会使我的 CSV 清除回标题下的一行数据，这是我在初始构建中输入的。此外，当我将文件克隆到我的桌面时，公共(public)文件夹中的 CSV 不显示从 Twitter 获取的任何新数据。

在 Heroku 应用程序页面上，我的日志显示正在添加数据。出现“文件已保存”消息，当 fs.appendFile 向我的 CSV 添加一行时，我在代码中触发了该消息。消息如下:

如您所见，CSV 文件位于我的应用程序的公用文件夹中。我如何确保应用程序退出后 1) 服务器继续运行以及 2) 保存对我的 CSV 的更改？

这是我的部分代码:

var param = {follow: '21111098,958191744683782144,18061669,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,968650362,343041182,5558312,111671288,476256944,378631423,803694179079458816,30354991,224285242,45645232,235217558,20879626,150078976,278124059,102477372,249787913,381577682,15324851,435500714,823302838524739584,20597460,555355209,15745368,229966028,3001665106,2863210809,1397501864,78403308,253252536,47747074}
var followIds = ['21111098','958191744683782144','18061669','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','968650362','343041182','5558312','111671288','476256944','378631423','803694179079458816','30354991','224285242']

twitterClient.stream('statuses/filter',param,function(stream) {
 stream.on('data', function(tweet) {

 const fields = ["name","text","URL","time"]

 for(i = 0; i <followIds.length; i++){
   if(followIds[i] == tweet.user.id_str){ // if so, get contents

    // WRITE TO CSV HERE:
   let name = tweet.user.name;
   let text = tweet.text;
   let URL = `https://twitter.com/${tweet.user.screen_name}/status/${tweet.id_str}`
   let time = tweet.created_at;

    update = [{name,text,URL,time}]

    var toCsv = { 
        data: update, 
        fields: fields, 
        hasCSVColumnTitle: false
    };

    var csv = json2csv(toCsv) + "\r\n";

    fs.appendFile('public/data/twitterData.csv',csv,function(err){
        if (err) throw err;
        console.log('File Saved')
    })
    }
    }
});

Answer 1

1. 我认为您的问题的解决方案是启动“后台作业”——这会使您的长期运行的应用程序逻辑脱离正常的 HTTP 请求/响应周期。

   https://devcenter.heroku.com/articles/background-jobs-queueing

2. Heroku dynos 具有临时文件系统——这意味着一旦您重新启动应用程序，您将丢失所有临时文件，包括您的 CSV。您可能希望在工作完成后将其推送到更永久的存储空间。

   https://help.heroku.com/DGUDV63H/how-much-disk-space-on-the-dyno-can-i-use