- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个Node.js应用程序,它可以进行网络抓取并将一些信息保存在json对象中。
我还将此对象保存到文件中。
现在,我想将这些信息保存到MongoDB数据库中。
这是我的代码的结构:
app.js文件:
var express = require('express');
// my files
var downloaderFirst = require('./routers/downloaderFirst.js');
var downloaderSecond = require('./routers/downloaderSecond.js');
// create app
const app = express();
downloaderFirst.download();
downloaderSecond.download();
var cheerio = require('cheerio');
var express = require('express');
var fs = require('fs');
var request = require('request');
var textract = require('textract');
// object of methods
var methods = {};
var url = 'http://www....';
// json object containing data
var jsons = [];
methods.download = function(req, res) {
extractText();
};
function extractText() {
// get text and save it to jsons array and ./output/dataFirst.json file
var thisYear = ...;
var thisObject = ...;
var o = {year: thisYear, object: thisObject};
jsons.push(o);
printOnFile(jsons, './output/dataFirst.json');
}
module.exports = methods;
var cheerio = require('cheerio');
var express = require('express');
var fs = require('fs');
var request = require('request');
var textract = require('textract');
// object of methods
var methods = {};
var url = 'http://www....';
// json object containing data
var jsons = [];
methods.download = function(req, res) {
extractText();
};
function extractText() {
// get text and save it to jsons array and ./output/dataSecond.json file
var thisYear = ...;
var thisColor = ...;
var o = {year: thisYear, color: thisColor};
jsons.push(o);
printOnFile(jsons, './output/dataFirst.json');
}
module.exports = methods;
dataFirst.json
和
dataSecond.json
),其中包含一个对象,例如:
[{
"year": "2006",
"object": "car"
},
{
"year": "2002",
"object": "car"
},
{
"year": "2006",
"object": "pen"
}, ...];
[{
"year": "2006",
"color": "red"
},
{
"year": "2002",
"color": "blue"
},
{
"year": "2006",
"color": "yellow"
}, ...];
first
和
second
的不同集合将这些信息保存到MongoDB。
dataFirst.json
和
dataSecond.json
,将文档直接保存到数据库的正确集合中。
npm install mongodb --save
命令安装了MongoDb驱动程序。
var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/';
// object of methods
var methods = {};
methods.createDb = function(dbName) {
MongoClient.connect(url + dbName, function(err, db) {
if(err) {
throw err;
}
console.log('Database created!');
db.close();
});
}
methods.createCollection = function(dbName, collectionName) {
MongoClient.connect(url, function(err, db) {
if(err) {
throw err;
}
var dbo = db.db(dbName);
dbo.createCollection(collectionName, function(err, res) {
if(err) {
throw err;
}
console.log('Collection', collectionName, 'created!');
db.close();
});
});
}
methods.insertDoc = function(dbName, collectionName, doc) {
MongoClient.connect(url, function(err, db) {
if(err) {
throw err;
}
var dbo = db.db(dbName);
dbo.collection(collectionName).insertOne(doc, function(err, res) {
if(err) {
throw err;
}
console.log('1 document inserted');
db.close();
});
});
}
methods.insertManyDoc = function(dbName, collectionName, docs) {
MongoClient.connect(url, function(err, db) {
if(err) {
throw err;
}
var dbo = db.db(dbName);
dbo.collection(collectionName).insertMany(docs, function(err, res) {
if(err) {
throw err;
}
console.log('Number of documents inserted: ' + res.insertedCount);
db.close();
});
});
}
methods.insertFromFile = function(dbName, collectionName, filename) {
var objs = JSON.parse(fs.readFileSync(filename, 'utf8'));
this.insertManyDoc(dbName, collectionName, objs);
}
module.exports = methods;
var express = require('express');
// my files
var downloaderFirst = require('./routers/downloaderFirst.js');
var downloaderSecond = require('./routers/downloaderSecond.js');
var db = require('./data/db.js');
var MongoClient = require('mongodb').MongoClient;
// create app
const app = express();
downloaderFirst.download();
downloaderSecond.download();
var dbName = 'db';
var firstCollectionName = 'first';
var secondCollectionName = 'second';
// create database
db.createDb(dbName);
// create the collections (tables in SQL)
db.createCollection(dbName, firstCollectionName);
db.createCollection(dbName, secondCollectionName);
db.insertFromFile(dbName, firstCollectionName, './output/dataFirst.json');
db.findAll(dbName, firstCollectionName);
var express = require('express');
// my files
var downloaderFirst = require('./routers/downloaderFirst.js');
var downloaderSecond = require('./routers/downloaderSecond.js');
var db = require('./data/db.js');
var MongoClient = require('mongodb').MongoClient;
// create app
const app = express();
downloaderFirst.download();
downloaderSecond.download();
var dbName = 'db';
var firstCollectionName = 'first';
var secondCollectionName = 'second';
// create database
db.createDb(dbName);
// create the collections (tables in SQL)
db.createCollection(dbName, firstCollectionName);
db.createCollection(dbName, secondCollectionName);
var cheerio = require('cheerio');
var express = require('express');
var fs = require('fs');
var request = require('request');
var textract = require('textract');
var db = require('../data/db.js');
// object of methods
var methods = {};
var url = 'http://www....';
// json object containing data
var jsons = [];
methods.download = function(req, res) {
extractText();
};
function extractText() {
// get text and save it to jsons array and ./output/dataFirst.json file
var thisYear = ...;
var thisObject = ...;
var o = {year: thisYear, object: thisObject};
jsons.push(o);
printOnFile(jsons, './output/dataFirst.json');
db.insertDoc('db', 'first', obj);
}
module.exports = methods;
var express = require('express');
// my files
var downloaderFirst = require('./routers/downloaderFirst.js');
var downloaderSecond = require('./routers/downloaderSecond.js');
var db = require('./data/db.js');
var MongoClient = require('mongodb').MongoClient;
// create app
const app = express();
var dbName = 'db';
// create database
db.createDb(dbName);
downloaderFirst.download();
downloaderSecond.download();
db.disconnectDb(dbName);
var cheerio = require('cheerio');
var express = require('express');
var fs = require('fs');
var request = require('request');
var textract = require('textract');
var db = require('../data/db.js');
// object of methods
var methods = {};
var url = 'http://www....';
// json object containing data
var jsons = [];
methods.download = function(req, res) {
extractText();
};
function extractText() {
// get text and save it to jsons array and ./output/dataFirst.json file
var thisYear = ...;
var thisObject = ...;
var o = {year: thisYear, object: thisObject};
jsons.push(o);
printOnFile(jsons, './output/dataFirst.json');
db.insertDocFirst('db', 'first', obj);
}
module.exports = methods;
var fs = require('fs');
var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/';
// object of methods
var methods = {};
methods.createDb = function(dbName) {
MongoClient.connect(url + dbName, function(err, db) {
if(err) {
console.log('createDb', err);
//throw err;
}
console.log('Database created!');
var dbo = db.db(dbName);
var first = dbo.createCollection('first', function(err, res) {
if(err) {
console.log('create collection first', err);
//throw err;
}
console.log('Collection first created!');
/*// because we are searching by name, we need an index! without an index, things can get slow
first.ensureIndex({year: true, object: true}, function(err) {
if(err) {
throw err;
}
});
console.log('Index of collection first created!');*/
});
var second = dbo.createCollection('second', function(err, res) {
if(err) {
console.log('create collection second', err);
//throw err;
}
console.log('Collection second created!');
/*// because we are searching by name, we need an index! without an index, things can get slow
dbo.collection('second').createIndex({year: true, color: true}, function(err) {
if(err) {
console.log('ensureIndex second', err);
//throw err;
}
});
console.log('Index of collection second created!');*/
});
});
}
methods.disconnectDb = function(dbName) {
MongoClient.connect(url, function(err, db) {
if(err) {
console.log('disconnectDb', err)
//throw err;
}
console.log('Disconnected. Bye :)');
db.close();
});
}
methods.insertDocFirst = function(dbName, collectionName, doc) {
MongoClient.connect(url, function(err, db) {
if(err) {
console.log('insertDoc', err); // ** ERROR HERE **
//throw err;
}
var dbo = db.db(dbName);
var selector = {
"year": doc.year,
"color": doc.color
};
dbo.collection(collectionName).update(selector, doc, {upsert: true});
});
}
methods.insertDocSecond = function(dbName, collectionName, doc) {
MongoClient.connect(url, function(err, db) {
if(err) {
console.log('insertDoc', err);
//throw err;
}
var dbo = db.db(dbName);
var selector = {
"year": doc.year,
"object": doc.color
};
dbo.collection(collectionName).update(selector, doc, {upsert: true});
});
}
Disconnected. Bye :)
Database created!
insertDoc { MongoNetworkError: failed to connect to server [localhost:27017] on first conn
ect [MongoNetworkError: connect ECONNREFUSED 127.0.0.1:27017]
at Pool.<anonymous> (C:\...\node_modules\mongodb-core
\lib\topologies\server.js:503:11)
at emitOne (events.js:116:13)
at Pool.emit (events.js:211:7)
at Connection.<anonymous> (C:\...\node_modules\mongod
b-core\lib\connection\pool.js:326:12)
at Object.onceWrapper (events.js:317:30)
at emitTwo (events.js:126:13)
at Connection.emit (events.js:214:7)
at Socket.<anonymous> (C:\...\node_modules\mongodb-co
re\lib\connection\connection.js:245:50)
at Object.onceWrapper (events.js:315:30)
at emitOne (events.js:116:13)
name: 'MongoNetworkError',
message: 'failed to connect to server [localhost:27017] on first connect [MongoNetworkEr
ror: connect ECONNREFUSED 127.0.0.1:27017]' }
C:\...\node_modules\mongodb\lib\mongo_client.js:792
throw err;
^
TypeError: Cannot read property 'db' of null
at C:\...\data\db.js:105:16
at err (C:\...\node_modules\mongodb\lib\utils.js:414:
14)
at executeCallback (C:\...\node_modules\mongodb\lib\u
tils.js:403:25)
at C:\Users\...\node_modules\mongodb\lib\mongo_client.js:27
0:21
at connectCallback (C:\...\node_modules\mongodb\lib\m
ongo_client.js:940:5)
at C:\...\node_modules\mongodb\lib\mongo_client.js:78
9:11
at _combinedTickCallback (internal/process/next_tick.js:131:7)
at process._tickCallback (internal/process/next_tick.js:180:9)
mongod -dbpath C:\...\data
var express = require('express');
// my files
var downloaderFirst = require('./routers/downloaderFirst.js');
var downloaderSecond = require('./routers/downloaderSecond.js');
var db = require('./data/db.js');
// create app
const app = express();
downloaderFirst.download();
downloaderSecond.download();
var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/';
let dbInstance;
// object of methods
var methods = {};
const connectDb = function(dbName, cb) {
if(dbInstance) {
return cb(dbInstance);
}
else {
MongoClient.connect(url + dbName, function(err, db) {
if(!err) {
dbInstance = db;
return cb(db);
}
});
}
}
methods.insertFirst = function(dbName, collectionName, doc) {
connectDb(dbName, function(db) {
var dbo = db.db(dbName);
var selector = {
year: doc.year,
color: doc.color
};
dbo.collection(collectionName).update(selector, doc, {upsert: true});
});
}
methods.insertSecond = function(dbName, collectionName, doc) {
connectDb(dbName, function(db) {
var dbo = db.db(dbName);
var selector = {
year: doc.year,
object: doc.object
};
dbo.collection(collectionName).update(selector, doc, {upsert: true});
});
}
var cheerio = require('cheerio');
var express = require('express');
var fs = require('fs');
var request = require('request');
var textract = require('textract');
var db = require('../data/db.js');
// object of methods
var methods = {};
var url = 'http://www....';
// json object containing data
var jsons = [];
methods.download = function(req, res) {
extractText();
};
function extractText() {
// get text and save it to jsons array and ./output/dataFirst.json file
var thisYear = ...;
var thisObject = ...;
var o = {year: thisYear, object: thisObject};
jsons.push(o);
printOnFile(jsons, './output/dataFirst.json');
db.insertFirst('db', 'first', obj);
}
module.exports = methods;
(node:5708) UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 1
): MongoError: BSON field 'update.updates.q' is the wrong type 'array', expected type 'obj
ect'
(node:5708) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In
the future, promise rejections that are not handled will terminate the Node.js process wit
h a non-zero exit code.
(node:5708) UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 2
): MongoError: BSON field 'update.updates.q' is the wrong type 'array', expected type 'obj
ect'
(node:5708) UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 3
): MongoError: BSON field 'update.updates.q' is the wrong type 'array', expected type 'obj
ect'
^C
var express = require('express');
// my files
var downloaderFirst = require('./routers/downloaderFirst.js');
var downloaderSecond = require('./routers/downloaderSecond.js');
var db = require('./data/db.js');
// create app
const app = express();
// web scraping and saving on db
downloaderFirst.download();
downloaderSecond.download();
// close connection
db.disconnectDb();
methods.disconnectDb = function(dbName) {
connectDb(dbName, function(db) {
var dbo = db.db(dbName);
db.close();
});
}
最佳答案
NodeJ具有异步特性。它具有单线程事件驱动的体系结构设置。因此,在每个函数调用中连接和断开数据库连接时,可能是某些其他资源或函数正在尝试执行相同的操作。
示例-function A
已创建mongodb
连接,并且还有其他一些功能也在尝试执行相同操作。因此,发生此错误的方式与您面临的情况相同。
解决方案-在启动应用程序时维护一个文件,用于在其中连接数据库。当完整的应用程序将要停止或您确定应用程序将终止时,只需断开数据库连接即可。这样,在race-around
和open
上将没有close
条件。
编辑-1
我将根据您编辑的代码再添加几行。app.js
文件包含以下几行
1. db.createDb(dbName); //this is an asynchronous operation
2. downloaderFirst.download(); //this is a route (asynchronous) as per your code base
3. downloaderSecond.download(); //this is a route (asynchronous) as per your code base
4. db.disconnectDb(dbName); // this is an asynchronous operation too
MongoDB
是
connected
和
disconnected
同时基于
event-loop
彼此独立。
downloaderFirst.js
具有此功能
function extractText() {
var thisYear = ...;
var thisObject = ...;
var o = {year: thisYear, object: thisObject};
jsons.push(o);
printOnFile(jsons, './output/dataFirst.json');
db.insertDocFirst('db', 'first', obj); /*********HERE*****/
}
HERE
标记的行。这又是异步的,不等待
MongoDb
connect。如果调用
extractText
函数,它将开始执行。
db.js
文件几乎没有问题。
connectDb
的函数。它返回连接的
db
实例。然后将其用于其他数据库操作,例如这种方式。
let dbInstance;
const connectDb = function(dbName,cb){
if(dbInstance){
return cb(dbInstance);
}else{
MongoClient.connect(url + dbName,function(err,db){
if(!err){
dbInstance = db;
return cb(db);
}
})
}
}
MongoDB
。并编写其他类似的操作。
methods.insertDocSecond = function(dbName, collectionName, doc) {
connectDb(dbName,function(db){
var dbo = db.db(dbName);
var selector = {
"year": doc.year,
"object": doc.color
};
dbo.collection(collectionName).update(selector, doc, {upsert: true});
})
}
close
连接,以便在某些其他函数忙于执行某些数据库操作时不会异步调用该连接。
Update
函数同时返回promise和callback。对于您当前的情况,您的
update
操作返回了一些未处理的错误。使用回调函数正确捕获错误并查看错误所在。
Nodejs
和
MongoDB
有一些理解上的问题,而不是陷入StackOverflow所针对的问题。因此,我必须建议您仔细阅读一些在线资料和资源以查找了解如何与Nodejs和MongoDB一起使用,然后如果遇到任何特定问题,社区将很乐意为您提供帮助。
关于javascript - 使用MongoDb和Node.js来组织代码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49298010/
我正在学习构建单页应用程序 (SPA) 所需的所有技术。总而言之,我想将我的应用程序实现为单独的层,其中前端仅使用 API Web 服务(json 通过 socket.io)与后端通信。前端基本上是
当我看到存储在我的数据库中的日期时。 这是 正常 。日期和时间就是这样。 但是当我运行 get 请求来获取数据时。 此格式与存储在数据库 中的格式不同。为什么会发生这种情况? 最佳答案 我认为您可以将
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在尝试使用backbone.js 实现一些代码 和 hogan.js (http://twitter.github.com/hogan.js/) Hogan.js was developed ag
我正在使用 Backbone.js、Node.js 和 Express.js 制作一个 Web 应用程序,并且想要添加用户功能(登录、注销、配置文件、显示内容与该用户相关)。我打算使用 Passpor
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗?更新问题,使其仅关注一个问题 editing this post . 已关闭 8 年前。 Improve this ques
我尝试在 NodeJS 中加载数据,然后将其传递给 ExpressJS 以在浏览器中呈现 d3 图表。 我知道我可以通过这种方式加载数据 - https://github.com/mbostock/q
在 node.js 中,我似乎遇到了相同的 3 个文件名来描述应用程序的主要入口点: 使用 express-generator 包时,会创建一个 app.js 文件作为生成应用的主要入口点。 通过 n
最近,我有机会观看了 john papa 关于构建单页应用程序的精彩类(class)。我会喜欢的。它涉及服务器端和客户端应用程序的方方面面。 我更喜欢客户端。在他的实现过程中,papa先生在客户端有类
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我是一个图形新手,需要帮助了解各种 javascript 2D 库的功能。 . . 我从 Pixi.js 中得到了什么,而我没有从 Konva 等基于 Canvas 的库中得到什么? 我从 Konva
我正在尝试将一些 LESS 代码(通过 ember-cli-less)构建到 CSS 文件中。 1) https://almsaeedstudio.com/ AdminLTE LESS 文件2) Bo
尝试查看 Express Passport 中所有登录用户的所有 session ,并希望能够查看当前登录的用户。最好和最快的方法是什么? 我在想也许我可以在登录时执行此操作并将用户模型数据库“在线”
我有一个 React 应用程序,但我需要在组件加载完成后运行一些客户端 js。一旦渲染函数完成并加载,运行与 DOM 交互的 js 的最佳方式是什么,例如 $('div').mixItUp() 。对
请告诉我如何使用bodyparser.raw()将文件上传到express.js服务器 客户端 // ... onFilePicked(file) { const url = 'upload/a
我正在尝试从 Grunt 迁移到 Gulp。这个项目在 Grunt 下运行得很好,所以我一定是在 Gulp 中做错了什么。 除脚本外,所有其他任务均有效。我现在厌倦了添加和注释部分。 我不断收到与意外
我正在尝试更改我的网站名称。找不到可以设置标题或应用程序名称的位置。 最佳答案 您可以在 config/ 目录中创建任何文件,例如 config/app.js 包含如下内容: module.expor
经过多年的服务器端 PHP/MySQL 开发,我正在尝试探索用于构建现代 Web 应用程序的新技术。 我正在尝试对所有 JavaScript 内容进行排序,如果我理解得很好,一个有效的解决方案可以是服
我是 Nodejs 的新手。我在 route 目录中有一个 app.js 和一个 index.js。我有一个 app.use(multer....)。我还定义了 app.post('filter-re
我正在使用 angular-seed用于构建我的应用程序的模板。最初,我将所有 JavaScript 代码放入一个文件 main.js。该文件包含我的模块声明、 Controller 、指令、过滤器和
我是一名优秀的程序员,十分优秀!