- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
如果我的问题不合适,我真的很抱歉,但除了使用 API 之外,我找不到任何其他简单的方法从外部网站收集数据。我觉得我错过了一些东西,但我不确定是什么,我确实在寻找可以检索数据的可能方法,但我无法理解。我目前正在使用 php 和 javascript,我正在寻找更简单的方法从外部站点获取数据到我的站点。如果您能向我解释如何从外部来源检索数据,我将不胜感激。
最佳答案
在我看来这是一个很大的领域。我一直在做许多涉及“抓取”的爱好项目。有很多技巧,每次处理一个新网站时,您都必须发挥您的创造力。
我不认为存在适用于所有人的单一指南。
网站使用 AJAX 异步加载内容或网站在开头以 HTML 提供内容有两种主要方式。
如果是第二种情况,很容易获取 HTML 并使用 curl
和 正则表达式
进行解析
如果是第一种情况,您可以选择,但我认为您可以检查 chrome 中的网络调用以查看实际数据的下载位置。例如,它可能是非常幸运的 JSON 格式,或者您必须进行逆向工程的自定义格式。
我能理解为什么很难习惯这种“编程”,因为您无法控制实际标记并且必须依赖很多东西。您应该以最大化脚本容错能力的方式选择您的假设。
抱歉,如果您正在寻找有关如何从静态内容中抓取数据的真正基础教程,但这是对您可能遇到的情况的一般说明。
我建议您找一个不通过 AJAX 加载内容并且具有相对良好的 HTML 标记的网站。然后使用 curl 和正则表达式来抓取它,然后从那里爬上去,在路上收集技巧。
注意:您可以选择某种 DOM 分析器或任何它们被调用的类型并使用它来代替正则表达式,但我认为它们对于初学者来说不是额外必要的。
关于javascript - 除了使用API之外,是否还有其他方法可以从外部网页获取数据来开发比较购物网站?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16267881/
我想使用 NetworkX Graph 对象作为 Python dict 中的键。但是,我不希望默认的比较行为(即通过对象的地址)。相反,我希望同构图是 dict 中相同元素的键。 此行为是否已在某处
这个问题已经有答案了: What is the most effective way for float and double comparison? (33 个回答) 已关闭 7 年前。 在您认为我
我正在学习 C 编程,为了练习,我找到了一个需要解决的任务。这有点像一个游戏,有人选择一个单词,其他人猜测字母。我必须检查有多少给定的单词可能是所选单词的正确答案。 输入: 3 3//数字 n 和 m
我两天前开始学习C,在做作业时遇到了问题。我们的目的是从字符数组中获取字符列表,并通过计算连续字符并将其替换为数字来缩短它。对“a4b5c5”说“aaaabbbbbccccc”。这是我到目前为止的代码
已关闭。此问题需要 debugging details 。目前不接受答案。 编辑问题以包含 desired behavior, a specific problem or error, and the
为什么我在 if 中的比较不起作用?答案应该是 8 但它返回 0。 function findMissing(missingArray){ var getArray = missing
我想知道为什么以下 JavaScript 比较会给出不同的结果。 (1==true==1) true (2==true==2) false (0==false==0) false (0==false)
我想知道是否有人可以帮助我完成这个程序。编写一个接受两个字符串的函数。该函数应该将这两个字符串与字典顺序上排在第一位的字符串组合起来。两个字符串之间应该有一个空格。在一行上打印结果字符串。在一行上打印
有谁知道一个免费的开源库(实用程序类),它允许您比较一个 Java bean 的两个实例并返回一个属性列表/数组,这两个实例的值不同?请发布一个小样本。 干杯 托马斯 最佳答案 BeanCompara
我是java新手。任何人都可以给出以下类声明的含义 public class ListNode, V> { K key; V value; ListNode next;
我需要用 C 语言计算和比较 3 种不同大小(100 * 100、1000 * 1000 和 10000 * 10000)的 2 个矩阵相乘的执行时间。我编写了以下简单代码来为 1000 * 1000
当我在 ACCESS 2007 中运行以下 SQL 时 Select Location, COUNT(ApartmentBuildings) AS TotalIBuildingsManaged Fro
根据我对互斥锁的了解——它们通常提供对共享资源的锁定功能。因此,如果一个新线程想要访问这个锁定的共享资源——它要么退出,要么必须不断轮询锁(并在等待锁时浪费处理器周期)。 但是,监视器具有条件变量,它
通常在编程中,不应该比较浮点数据类型是否相等,因为存储的值通常是近似值。 由于两个非整数 Oracle NUMBER 值的存储方式不同(以 10 为基数),是否可以可靠地比较它们是否相等? 最佳答案
使用 PowerShell 时,我们偶尔会比较不同类型的对象。一个常见的场景是 $int -eq $bool (即其中 0 -eq $false 、 0 -ne $true 和任何非零值仅等于真,但不
#include #define MAX 1000 void any(char s1[], char s2[], char s3[]); int main() { char string1[
我想比较两个日期。 从这两个日期中,我只使用 ToShortDateString() 获取日期组件, 如下所示。现在的问题是当我比较两个日期时。它的 throw 错误—— "Operator >= c
用户输入一个数字( float 或整数),并且它必须大于下限。 这是从 UITextField 获取数字的代码: NSNumberFormatter * f = [[NSNumberFormatter
我已经摆弄这段代码大约一个小时了,它让我难以置信。我认为解决方案相当简单,但我似乎无法弄清楚。无论如何,这里去。我制作了一个 javascript 函数来检查用户输入的字符,以便它只能接受 7 个字符
我不太明白为什么当我们在不覆盖 equals 的情况下比较具有相同类属性的两个实例时方法,它将给出 false .但它会给出 true当我们比较一个案例类的两个实例时。例如 class A(val
我是一名优秀的程序员,十分优秀!