gpt4 book ai didi

amazon-web-services - 亚马逊 lambda 适合网页抓取吗?

转载 作者:行者123 更新时间:2023-12-02 11:22:22 25 4
gpt4 key购买 nike

如果我创建一个函数来获取网页。它会在每次执行时在不同的 IP 上执行它,以便我的抓取请求不会被阻止吗?

最佳答案

我会使用这个 AWS 管道:
enter image description here

在左侧的源中,您将拥有一个带有 JAUNT 的 EC2 实例。然后将 URLS 或 HTML 页面提供给 Kinesis Stream。 Lambda 将进行 HTML 解析,并通过 Firehose 将所有内容放入 S3 或 Redshift。
JAUNT 可以通过带有轮换 IP 的标准 WebProxy 服务运行。

关于amazon-web-services - 亚马逊 lambda 适合网页抓取吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28825484/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com