- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在尝试将大型 csv 文件(100K 行;10-100M+)上传并插入到 mongo 中。
下面的代码是我用来接受来自表单的输入并首先将记录插入到我所有 csv 的元数据集合中,然后将 csv 的记录插入到它自己的集合中的路径。它适用于较小的文件(数千行),但当它达到 50K+ 的顺序时会花费很长时间。
下一个片段是将 csv 流用于较大的文件(见下文),但在尝试使用该流时出现错误。
问题:有人可以帮助将第一个示例修改为流,以便它可以处理大型 csv 而不会挂起。
exports.addCSV = function(req,res){
var body = req.body;
fileSystem.renameSync(req.files.myCSV.path, 'uploads/myFile', function(err){
if(err){
fileSystem.unlink(req.files.myCSV.path, function(){});
throw error;
}
});
var myObject = { userid: body.userid,
name: body.name,
description: body.description
};
var MongoClient = require('mongodb').MongoClient;
MongoClient.connect('mongodb://localhost:27017/csvdb', function(err, db){
if(err) throw err;
var collection = db.collection('myCSVs');
collection.insert(myObject, function(err, insertedMyObject){
csvParser.mapFile('uploads/myFile', function(err, allRows){
if (err) throw err;
var collectionId = "Rows_ForID_" + insertedMyObject[0]._id;
for (r in allRows) {
allRows[r].metric = parseFloat(allRows[r].metric);
}
var finalcollection = db.collection(collectionId);
finalcollection.insert(allRows, function(err, insertedAllRows) {
if (err) {
res.send(404, "Error");
}
else {
res.send(200);
}
});
});
});
});
}
编辑(让人们删除保留状态):
我使用流尝试了这种方法:
exports.addCSV = function(req,res){
var body = req.body;
fileSystem.renameSync(req.files.myCSV.path, 'uploads/myFile', function(err){
if(err){
fileSystem.unlink(req.files.myCSV.path, function(){});
throw error;
}
});
var myObject = { userid: body.userid,
name: body.name,
description: body.description
};
var MongoClient = require('mongodb').MongoClient;
MongoClient.connect('mongodb://localhost:27017/csvdb', function(err, db){
if(err) throw err;
var collection = db.collection('myCSVs');
collection.insert(myObject, function(err, insertedMyObject){
var collectionId = "Rows_ForID_" + insertedMyObject[0]._id;
var finalcollection = db.collection(collectionId);
var q = async.queue(finalcollection.insert.bind(finalcollection), 5);
q.drain = function() {
console.log('all items have been processed');
}
csv()
.from.path('uploads/myFile', {columns: true})
.transform(function(data, index, cb){
q.push(data, cb);
})
.on('end', function () {
res.send(200);
console.log('on.end() executed');
})
.on('error', function (err) {
res.end(500, err.message);
console.log('on.error() executed');
});
});
});
}
但是我得到这个错误:
events.js:72
throw er; // Unhandled 'error' event
^
TypeError: object is not a function
第三,我尝试了这种流媒体方式:
var q = async.queue(function (task,callback) {
finalollection.insert.bind(task,function(err, row) { });
callback();
}, 5);
q.drain = function() {
console.log('all items have been processed');
}
csv()
.from.path('uploads/myFile', {columns: true})
.transform(function(data, index, cb){
q.push(data)
})
.on('end', function () {
res.send(200);
console.log('on.end() executed');
})
.on('error', function (err) {
res.end(500, err.message);
console.log('on.error() executed');
});
这会插入一些然后中止:
all items have been processed
all items have been processed
Error: Request aborted
at IncomingMessage.<anonymous>
这个实际上试图将同一 csv 的多个集合插入到数据库中。最后,我尝试了 q 的单行定义:
var q = async.queue(finalcollection.insert.bind(finalcollection), 5);
连同:
.transform(function(data, index, cb){
q.push(data,function (err) {
console.log('finished processing foo');
});
})
它多次插入集合并每次都中止(下面是每次发生的输出 - 为什么它没有正确退出并重新插入?):
finished processing foo
finished processing foo
finished processing foo
finished processing foo
finished processing foo
all items have been processed
Error: Request aborted
at IncomingMessage.<anonymous> (.../node_modules/express/node_modules/connect/node_modules/multiparty/index.js:93:17)
at IncomingMessage.EventEmitter.emit (events.js:92:17)
at abortIncoming (http.js:1892:11)
at Socket.serverSocketCloseListener (http.js:1904:5)
at Socket.EventEmitter.emit (events.js:117:20)
at TCP.close (net.js:466:12)
最佳答案
您应该使用流处理大文件。
这是一个可能的解决方案:
var queue = async.queue(collection.insert.bind(collection), 5);
csv()
.from.path('./input.csv', { columns: true })
.transform(function (data, index, cb) {
queue.push(data, function (err, res) {
if (err) return cb(err);
cb(null, res[0]);
});
})
.on('error', function (err) {
res.send(500, err.message);
})
.on('end', function () {
queue.drain = function() {
res.send(200);
};
});
请注意:
node-csv
的流 API ,这确保了在读取文件的同时处理数据:这样就不会立即在内存中读取整个文件。 transform
处理程序为每条记录执行;async.queue
,这是一个异步处理队列:最多并行执行5个处理程序(finalcollection.insert
)。 这个例子应该被测试,因为我不确定它是否真的能很好地处理背压。此外,队列的并发级别应根据您的具体配置进行调整。
您还可以找到 working gist here .
关于jquery - 使用 Node.js 和 async.queue 将大型 CSV 插入 MongoDB,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20722891/
在带有 jQuery 的 CoffeeScript 中,以下语句有什么区别吗? jQuery ($) -> jQuery -> $ - > 最佳答案 第一个与其他两个不同,就像在纯 JavaScr
已关闭。这个问题是 off-topic 。目前不接受答案。 想要改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 已关闭13 年前。 Improve th
就目前情况而言,这个问题不太适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、民意调查或扩展讨论。如果您觉得这个问题可以改进并可能重新开放,visit
这个问题可能听起来很愚蠢,但请耐心等待,因为我完全是初学者。我下载了两个 jQuery 版本,开发版本和生产版本。我想知道作为学习 jQuery 的初学者,什么更适合我。 最佳答案 如果您对 jQue
The documentation说要使用 1.6.4,但我们现在已经升级到 1.7.2。 我可以在 jQuery Mobile 中使用最新版本的 jQuery 吗? 最佳答案 您当然可以,但如果您想
我在这里看到这个不错的 jquery 插件:prettyphoto jquery lightbox有没有办法只用一个简单的jquery来实现这样的效果。 我只需要弹出和内联内容。你的回复有很大帮助。
很明显我正在尝试做一些 jQuery 不喜欢的事情。 我正在使用 javascript 上传图片。每次上传图片时,我都希望它可见,并附加一个有效的删除脚本。显示工作正常,删除则不然,因为当我用 fir
这两个哪个是正确的? jQuery('someclass').click(function() { alert("I've been clicked!"); }); 或 jQuery('somec
我正在寻找一个具有以下格式的插件 if (jQuery)(function ($) { -- plugin code -- })(jQuery); 我明白 (function ($)
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭10 年前。 Improv
我知道这个问题已经被问过几次了,但想知道您是否可以帮助我解决这个问题。 背景:我尝试创建一个使用 Ajax 提交的表单(jQuery 表单提交)。我已经工作得很好,然后我想在表单上得到验证。我可以使用
我正在使用无处不在的jquery validate plugin用于表单验证。它支持使用metadata plugin用于向表单元素添加验证规则。 我正在使用此功能。当验证查找这些规则时,它会对元素进
我更喜欢为我一直在开发的网络社区添加实用的视觉效果,但随着事情开始堆积,我担心加载时间。 拥有用户真的更快吗加载(希望是缓存的)副本来自 Google 存储库的 jquery? 是否使用 jQuery
这个问题已经有答案了: Slide right to left? (17 个回答) 已关闭 9 年前。 你能告诉我有没有办法在 jQuery 中左右滑动而不使用 jQuery UI 和 jQuery
我如何找出最适合某种情况的方法?任何人都可以提供一些示例来了解功能和性能方面的差异吗? 最佳答案 XMLHttpRequest 是原始浏览器对象,jQuery 将其包装成一种更有用和简化的形式以及跨浏
运行时 php bin/console oro:assets:build ,我有 11 个这样的错误: ERROR in ../node_modules/jquery-form/src/jquery.
我试图找到 jQuery.ajax() 在源代码中的定义位置。但是,使用 grep 似乎不起作用。 在哪里? 谢谢。 > grep jQuery.ajax src/* src/ajax.js:// B
$.fn.sortByDepth = function() { var ar = []; var result = $([]); $(this).each(function()
我的页面上有多个图像。为了检测损坏的图像,我使用了在 SO 上找到的这个。 $('.imgRot').one('error',function(){ $(this).attr('src','b
我在理解 $ 符号作为 jQuery 函数的别名时遇到了一些麻烦,尤其是在插件中。你能解释一下 jQuery 如何实现这种别名:它如何定义 '$' 作为 jQuery 函数的别名?这是第一个问题。 其
我是一名优秀的程序员,十分优秀!