java - 从网站爬取数据

Question

我对此类问题不熟悉，因此我对从网站抓取数据有疑问。我需要从某个网站检索数据，因为我知道数据可以以 csv 或 xls 文件的形式检索。但我怎样才能获得下载它的网址呢？

例如，我正在开一家服装店并查看所有分类，有什么方法可以以文件形式(csv 或其他)接收这些数据？或者我需要以某种方式解析 html？

Answer 1

学习基础知识

第一:这完全取决于网站的类型(静态/动态)和要求(您想要抓取并记录在案的数据类型)。

第二个也是重要的一个:您需要学习如何以您的首选语言发出网络请求。另外，如何序列化/反序列化各种文件格式的数据。

这是 X Wang 发表的一篇关于创建 Java 爬虫的精彩文章:

http://www.programcreek.com/2012/12/how-to-make-a-web-crawler-using-java/

它应该可以帮助您开始实现您的目标。

希望对你有帮助!