gpt4 book ai didi

javascript - Node.js 应用程序在尝试使用它下载大文件时崩溃

转载 作者:行者123 更新时间:2023-12-01 15:59:40 26 4
gpt4 key购买 nike

我正在尝试编写一个可以将 HTTP URL 转换为种子文件的程序。这个项目基本上是为包含小文件的下载链接工作的。就像一个 1-500Mb 的文件。我的问题是,如果文件大小超过应用程序崩溃或超时的大小。所以我想知道如何解决这个问题。下面是我的代码和 Github 链接。

https://github.com/savadks95/FireBit

var http          = require('http');
var webtorrentify = require('webtorrentify-link');
var fs = require('fs');
var url = require("url");
var path = require("path");
var validUrl = require('valid-url');
var express = require('express');
var getUrls = require('get-urls');
var remote = require('remote-file-size');
var app = express();

var downloadLink;
var fileName;
var fileSize;
var server;
var parsed;
var param;
var link;
var port;
port = process.env.PORT || 80;

app.get('/favicon.ico', function(req, res){
console.log('favicon request recived');
});
app.get('*', function(req, res){
if(req.url==='/'){

//app.use('/public/html', express.static(path.join(__dirname)));

fs.readFile('public/html/index.html', function (err, data) {
res.write(data);
});
}else if (req.url === '/l?thelink='){
fs.readFile('public/html/emptyRequest.html', function (err, data) {
res.write(data);
res.end();
});
}else{
//---------Reciving Url--------------------
console.log(req.query.thelink);
downloadLink=req.query.thelink;
//-----------------------------------------

//------------checking for valid url-------
if (validUrl.isUri(downloadLink)) {
console.log('Looks like an URL');
//-----------------------------------------

//----------Extracting filename-------------
parsed = url.parse(downloadLink);
fileName = path.basename(parsed.pathname);
console.log(path.basename(parsed.pathname));
//-------------------------------------------

//----------Finding File size----------------
remote(downloadLink, function(err, o) {
fileSize = (o/1024)/1024;
console.log('size of ' + fileName + ' = ' + fileSize+" MB");
//-------------------------------------------
if (fileSize < 501)
{
///////////////Creating Torrent////////////////////
webtorrentify(downloadLink)
.then(function (buffer) {
console.log('creating the torrent');
//res.send('what is');
//-------------------------------------------
res.setHeader('Content-Type', 'application/x-bittorrent');
res.setHeader('Content-Disposition', `inline; filename="${fileName}.torrent"`);
res.setHeader('Cache-Control', 'public, max-age=2592000'); // 30 days
res.send(buffer);
console.log(fileName+'.torrent created');
res.end();
//-------------------------------------------
});
////////////////////////////////////////////////
}
else{
console.log('More than 500 MB');
res.send("<h4> More than 500 MB or invalid URL </h4>");
}
});
}
else {
console.log('not url');
fs.readFile('public/html/404.html', function (err, data) {
res.write(data);
res.end();
});

}
}
});

app.listen(port);

console.log('server up and running', port);

最佳答案

Node.js 的纯文件 (fs) 和大数据处理功能通常无法处理超过 1GB 的文件,但只需使用一个额外的 NPM 包 EventStream,您就可以在不崩溃的情况下解析海量数据集 Node 服务器。使用 EventStream 包,您可以下载最大 3GB 及以上的文件。

下面的链接给出了详细的实现。我想重申以下链接中给出的示例实现解决了您的大文件下载问题。您将 http url 转换为 torrent 流的能力,您似乎已经很好地处理了。

https://itnext.io/using-node-js-to-read-really-really-large-files-pt-1-d2057fe76b33

这里是事件流模块的 NPM 包。

https://www.npmjs.com/package/event-stream

希望这对您有所帮助。

关于javascript - Node.js 应用程序在尝试使用它下载大文件时崩溃,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60702204/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com