- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试解决此问题:
a)通过在Google搜索中键入“数据表”来导航至https://datatables.net/,然后单击正确的结果。
b)您将找到一个包含一些数据的表格示例。请从表中提取/提取数据到数组中。
在数组中,您将有对象。一个对象将是表中的一行。对象属性将是每个表列中的数据。
c)请将该数组导出为CSV。
因为我从未使用过nightmare.js,所以我在Google上进行了搜索,并找到了我真正需要的https://github.com/XanderGriff/webscraping-with-nightmare/blob/master/main.mjs,但是一开始它没有用,我做了一些更改,但是仍然有错误。
// Package Definitions
var csvWriter = require('csv-write-stream');
var fs = require('fs');
var Nightmare = require('nightmare');
// Constant Definitions
const GOOGLE = 'https://www.google.com';
const QUERY = 'datatables';
const SEARCHBAR = 'form[action*="/search"] [name=q]';
const SEARCHBUTTON = 'form[action*="/search"] [type=submit]';
const SEARCH_RESULT_ID = 'h3.r > a';
const DATATABLES_LINK = 'https://datatables.net/';
const DATATABLES_SIZE_SELECTOR = 'select[name="example_length"]';
const DATATABLES_DATA_SELECTOR = 'table#example tr';
(async ()=>{
let nightmare;
try {
nightmare = Nightmare({ show: true });
await nightmare
// Navigate to Google
.goto(GOOGLE)
.type(SEARCHBAR, QUERY)
.click(SEARCHBUTTON)
.wait(SEARCH_RESULT_ID)
await nightmare.evaluate( (SEARCH_RESULT_ID,
DATATABLES_LINK) => {
// filter results based on css selectors to choose link with
proper url
// indexed at 0 to access element from single-element array
produced in above instruction
(Array.from(document.querySelectorAll(SEARCH_RESULT_ID))).filter(a
=> a.href === DATATABLES_LINK)[0].click();
}, SEARCH_RESULT_ID, DATATABLES_LINK)
// Adjust datatable to show all entries
await nightmare
.wait(DATATABLES_SIZE_SELECTOR)
.select(DATATABLES_SIZE_SELECTOR, 100);
// Retrieve values from datatable
await nightmare.evaluate( (DATATABLES_DATA_SELECTOR) => {
let table_rows =
Array.from(document.querySelectorAll(DATATABLES_DATA_SELECTOR));
// delineate between keys and vals from retrieved table data
let table_keys_row =
Array.from((table_rows[0]).querySelectorAll('th')).map(e =>
e.innerHTML); //array of strings
let table_data_rows = table_rows.slice(1,58); //array
of arrays of HTML elements
let array_of_row_objects = [];
let row_object = {};
let formatted_values = [];
table_data_rows.forEach( row => {
// grab innerHTML from each element in the row
formatted_values =
Array.from(row.querySelectorAll('td')).map(e => e.innerHTML);
// place each of the element values in an object with each value
associated with its respective key
row_object = {};
for(i = 0; i < table_keys_row.length; i++) {
row_object[table_keys_row[i]] =
formatted_values[i];
}
array_of_row_objects.push(row_object);
})
return array_of_row_objects;
}, DATATABLES_DATA_SELECTOR)
// Write to CSV
writer.pipe(fs.createWriteStream('output.csv'));
result.forEach( obj => {
writer.write(obj);
});
writer.end();
console.log("Wrote values to CSV...")
} catch (error) {
console.error(error);
throw error;
} finally {
await nightmare.end();
}
})();
nightmare queuing process start +0ms
nightmare queueing action "goto" for https://www.google.com +3ms
nightmare queueing action "type" +0ms
nightmare queueing action "click" +0ms
nightmare queueing action "wait" +0ms
nightmare running +1ms
nightmare queueing action "evaluate" +5s
nightmare running +1ms
{ TypeError: Cannot read property 'click' of undefined
at fn (<anonymous>:8:106)
at javascript (<anonymous>:23:21)
at <anonymous>:38:3
at EventEmitter.electron.ipcRenderer.on
(/home/anna/automation/node_modules/electron/dist/resources/electron.a
sar/renderer/web-frame-init.js:36:30)
at emitMany (events.js:147:13)
at EventEmitter.emit (events.js:224:7) code: -1 }
nightmare running +12ms
nightmare electron child process exited with code 0: success!
+55ms
(node:10610) UnhandledPromiseRejectionWarning: TypeError: Cannot
read property 'click' of undefined
at fn (<anonymous>:8:106)
at javascript (<anonymous>:23:21)
at <anonymous>:38:3
at EventEmitter.electron.ipcRenderer.on
(/home/anna/automation/node_modules/electron/dist/resources/electron.
asar/renderer/web-frame-init.js:36:30)
at emitMany (events.js:147:13)
at EventEmitter.emit (events.js:224:7)
(node:10610) UnhandledPromiseRejectionWarning: Unhandled promise
rejection. This error originated either by throwing inside of an
async function without a catch block, or by rejecting a promise
which was not handled with .catch(). (rejection id: 1)
(node:10610) [DEP0018] DeprecationWarning: Unhandled promise
rejections are deprecated. In the future, promise rejections that
are not handled will terminate the Node.js process with a non-zero
exit code.
最佳答案
var csvWriter = require('csv-write-stream');
var writer = csvWriter();
var fs = require('fs');
var Nightmare = require('nightmare');
(async () => {
let nightmare;
try {
nightmare = Nightmare({ show: true });
await nightmare
.goto('https://www.google.com')
.type('form[action*="/search"] [name=q]', 'datatables')
.click('form[action*="/search"] [type=submit]')
.wait(2500)
await nightmare.evaluate( () => {
var link = document.querySelector(".r a");
link.click();
})
await nightmare
.wait('select[name="example_length"]')
.select('select[name="example_length"]', 100);
await nightmare.evaluate( () => {
let tableRows = Array.from(document.querySelectorAll('table#example tr'));
let tableKeysRow = Array.from((tableRows[0]).querySelectorAll('th')).map(e => e.innerHTML);
let tableDataRows = tableRows.slice(1,58);
let arrayOfRowObjects = [];
let rowObject = {};
let formattedValues = [];
tableDataRows.forEach( row => {
formattedValues = Array.from(row.querySelectorAll('td')).map(e => e.innerHTML);
rowObject = {};
for(i = 0; i < tableKeysRow.length; i++) {
rowObject[tableKeysRow[i]] = formattedValues[i];
}
arrayOfRowObjects.push(rowObject);
})
return arrayOfRowObjects;
})
.then( result => {
writer.pipe(fs.createWriteStream('outputData.csv'));
result.forEach( obj => {
writer.write(obj);
});
writer.end();
})
} catch (error) {
console.error(error);
throw error;
} finally {
await nightmare.end();
}
})();
关于javascript - 尝试使用nightmare.js从搜索结果中获取数据,但出现错误: “Cannot read property ' click' of undefined”,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57531414/
我的应用程序从一个有 5 个选项卡的选项卡栏 Controller 开始。一开始,第一个出现了它的名字,但其他四个没有名字,直到我点击它们。然后根据用户使用的语言显示名称。如何在选项卡栏出现之前设置选
我有嵌套数组 json 对象(第 1 层、第 2 层和第 3 层)。我的问题是数据表没有出现。任何相关的 CDN 均已导入。该表仅显示部分。我引用了很多网站,但都没有解决我的问题。 之前我使用标准表来
我正在尝试设置要显示的 Parse PFLoginViewController。这是我的一个 View Controller 的类。 import UIKit import Parse import
我遇到了这个问题,我绘制的对象没有出现在 GUI 中。我知道它正在被处理,因为数据被推送到日志文件。但是,图形没有出现。 这是我的一些代码: public static void main(Strin
我有一个树状图,其中包含出现这样的词...... TreeMap occurrence = new TreeMap (); 字符串 = 单词 整数 = 出现次数。 我如何获得最大出现次数 - 整数,
因此,我提示用户输入变量。如果变量小于 0 且大于 10。如果用户输入 10,我想要求用户再次输入数字。我问时间的时候输入4,它说你输入错误。但在第二次尝试时效果很好。例如:如果我输入 25,它会打印
我已经用 css overflow 属性做了一个例子。在这个例子中我遇到了一个溢出滚动的问题。滚动条出现了,但没有工作意味着每当将光标移动到滚动条时,在这个滚动条不活动的时间。我对此一无所知,所以请帮
我现在正在做一个元素。当您单击一个元素时,会出现以下信息,我想知道如何在您单击下一个元素而不重新单击同一元素时使其消失....例如,我的元素中有披萨,我想单击肉披萨看到浇头然后点击奶酪披萨看到浇头和肉
我有一个路由器模块,它将主题与正则表达式进行比较,并将出现的事件与一致的键掩码链接起来。 (它是一个简单的 url 路由过滤,如 symfony http://symfony.com/doc/curr
这个问题在这里已经有了答案: 9年前关闭。 Possible Duplicate: mysql_fetch_array() expects parameter 1 to be resource, bo
我在底部有一个带有工具栏的 View ,我正在使用 NavigationLink 导航到该 View 。但是当 View 出现时,工具栏显示得有点太低了。大约半秒钟后,它突然跳到位。它只会在应用程序启
我试图在我的应用程序上为背景音乐添加一个 AVAudioPlayer,我正在主屏幕上启动播放器,尝试在应用程序打开时开始播放但出现意外行为... 它播放并立即不断创建新玩家并播放这些玩家,因此同时播放
这是获取一个数字,获取其阶乘并将其加倍,但是由于基本情况,如果您输入 0,它会给出 2 作为答案,因此为了绕过它,我使用了 if 语句,但收到错误输入“if”时解析错误。如果你们能提供帮助,我真的很感
暂停期间抛出异常 android.os.DeadObjectException 在 android.os.BinderProxy.transactNative( native 方法) 在 androi
我已经为猜词游戏编写了一些代码。它从用户输入中读取字符并在单词中搜索该字符;根据字符是否在单词中,程序返回并控制一些变量。 代码如下: import java.util.Random; import
我是自动化领域的新手。这是我的简单 TestNG 登录代码,当我以 TestNG 身份运行该代码时,它会出现 java.lang.NullPointerException,双击它会突出显示我导航到 U
我是c#程序员,我习惯了c#的封装语法和其他东西。但是现在,由于某些原因,我应该用java写一些东西,我现在正在练习java一天!我要创建一个为我自己创建一个虚拟项目,以便让自己更熟悉 Java 的
我正在使用 Intellij,我的源类是 main.com.coding,我的资源文件是 main.com.testing。我将 spring.xml 文件放入资源文件中。 我的测试类位于 test.
我想要我的tests folder separate到我的应用程序代码。我的项目结构是这样的 myproject/ myproject/ myproject.py moduleon
这个问题已经有答案了: What is a NullPointerException, and how do I fix it? (12 个回答) 已关闭 6 年前。 因此,我尝试比较 2 个值,一个
我是一名优秀的程序员,十分优秀!