个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在开发一款产品，我们需要一种功能来抓取用户给定的 URL 并发布他单独的移动网站。在抓取过程中我们要抓取网站内容、CSS、图像和脚本。该产品用于执行更多 Activity ，例如安排一些营销 Activity 等等。我想问什么-
完成此任务的最佳实践和开源框架是什么？
我们应该在应用程序本身中执行此操作还是应该有另一个服务器来执行此 Activity (如果此 Activity 需要负载)？请记住，我们每月有 1 个“缺少”用户访问从网站发布他的移动网站，以及大约 1-2,000 个并发用户。
该应用程序是用 Java 和 Java EE 平台构建的，使用 Spring 和 Hibernate 作为服务器端技术。
最佳答案
我们使用 Derkley DB Java 版本来管理链接的堆外队列，以抓取并区分待下载的链接和已下载的链接。
对于解析 HTML，TagSoup 是野生互联网中的最佳选择。
Batik 是解析 CSS 和 SVG 的选择。
PDFBox 非常棒，可以从 PDF 中提取链接
Quartz 调度程序是经过行业验证的事件调度选择。
是的，您将需要一台或多台服务器用于爬行，一台服务器用于聚合结果和调度任务，也许还需要另一台服务器用于 WEB 前端和后端。
这对于 http://linktiger.com 效果很好和 http://pagefreezer.com
关于java - 应用程序中爬取网站的最佳架构，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12138182/
25
4
0
我在字符串中有一个大词。例子白 Wine 额外优惠。 我想在第一行使用“White”，在第二行使用“wine extra offer”。使用下面的代码: string value="White win
我想在无符号中执行一些算术运算，需要取负整数的绝对值，比如 do_some_arithmetic_in_unsigned_mode(int some_signed_value) { unsign
我正在努力使用 data.table 来总结向量函数的结果，这在 ddply 中很容易。 问题 1:使用带有矢量输出的(昂贵的)函数聚合 dt dt[ , as.list(quantile(x)),
我有两个分数列表； 说 A = [ 1/212, 5/212, 3/212, ... ] 和 B = [ 4/143, 7/143, 2/143, ... ] . 如果我们定义 A' = a[0] *
我已经使用 numpy 从 csv 文件中获取数据。 numpy 数组的尺寸为:100*20。我如何取列的平均值(比如 col 3,5,8)并用包含这 3 个 cols 平均值的新列替换它们 如果
在 Rust 中取任意数的 n 次根的最佳方法是什么？例如，num crate 只允许取整数类型的第 n 个主根，即 floor'ed 或 ceil'ed 值......如何最好地接近实际值？ 最佳答
看起来这应该很容易，但我很困惑。我已经掌握了使用 dplyr 进行编程的大致技巧0.7，但为此苦苦挣扎:How do Iprogram in dplyr我想要编程的变量是否是一个字符串？ 我正在抓取数
在 Rust 中取任意数的 n 次根的最佳方法是什么？例如，num crate 只允许取整数类型的第 n 个主根，即 floor'ed 或 ceil'ed 值......如何最好地接近实际值？ 最佳答
我有一个 pandas 数据框，其中有一列名为“coverage”。对于一系列特定索引值，我想获取前 100 行的平均“覆盖率”值。例如，对于索引位置 1001，我想要第 901-1000 行的平均“
import pandas as pd data = {'date': ['1998-03-01', '2001-04-01','1998-06-01','2001-08-01','2001-05-0
我有一个包含 100 个数字的 NSArray。我想创建一个 5 个数字的 NSArray。第二个数组中的第一个数字是第一个数组中前 20 个数字的平均值。第二个数字是第一个数组中第二组 20 个数字
我该怎么做？我试过 abs() 但它只适用于整数。有内置的方法吗？ CGFloat flo = -123; abs(flo) 返回 0 最佳答案 使用 fabs() CGFloat f = -123.
我正在采用以下计算的 log2: tl_out.a.bits.size := log2Ceil(s1_row * s2_column * 4.U) 其中，s1_row 和 s2_column 是 UI
如何从 m 个元素集合中取出 n 个元素，以便在元素用完时从头开始？ List list = new List() {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}; List newL
我已经完成了研究，但似乎找不到有关该主题的足够文档。 在 Object streams 上尝试一些代码时，我注意到将 BufferedOutputStream 放入 ObjectOutputStrea
我需要计算数据中连续时间组之间的差异，如下所示 from io import StringIO import pandas as pd strio = StringIO("""\
我在 Mongo 数据库中有以下文档: { _id: 1, question: "Blue or red?", __v: 0, votes: [9, 5] } 我想在后
好吧，宇宙中一定有人知道这个问题的答案。 我已经在这里问过这个问题，但仍然没有解决方案。 我需要保留和换行 div 中的文本。到目前为止，我很难想出解决方案。我找到的最佳解决方案并不适用于所有浏览器。
我正在尝试采用 3 个单独的整数输入(年、月、日)并采用这 3 个条目并从中形成一个日期对象，以便我可以使用它来比较其他日期。 这是我目前所拥有的，不知从何而来: public void compar
在我的 IOS 项目中，我有一个包含该函数的自定义 Logger 类(单例) - (void)log:(NSString *)domain logLevel:(int)level logMessage
我是一名优秀的程序员,十分优秀！