Java:如何在应用程序的每个周期请求一个新的 IP

Question

我编写了一个应用程序，它可以简单地解析指定网站的网页列表并使用 JSoup 提取内容。
问题是，使用我的 IP，我每天最多可以从我的列表中请求 3 个特定页面(在同一域上)，在这 3 个页面之后，我尝试的每个请求都会重定向到一个要求我接下来返回的页面一天再提出 3 个请求。
我想做的是让我的应用程序每 3 个请求更改一次 IP。

我已经测试了 SilverTunnel 和 JTor(允许我为我的请求每 3 个请求获取一个新的身份 IP)，但是这些库的文档记录很差，并且几乎没有示例说明如何每 N 个周期更改我的身份)。

我问是否有人知道如何让我的应用程序更改我的 IP、屏蔽它，甚至向我的 ISP 请求使用特定的 IPV6，并使用新的不同的 IPV6 来释放更改。

有人知道该问题的解决方案或测试过类似的东西吗？

谢谢大家。

Answer 1

此用例的最佳解决方案是向网站请求您所做的事情的许可。然后，他们会将您列入白名单，或者更好的是，将您指向一个内部 API，您可以在其中以比 HTML 更有效的方式获取有趣的数据。

[编辑]我还没有听说过这方面的(合法)技术解决方案。犯罪分子使用包含数千台被黑客入侵的计算机的巨大僵尸网络来进行此类 Activity ，但我强烈建议您远离这种情况。

我还没有遇到过每天只允许下载 3 次的页面。这种严格的限制告诉我那些人真的很痴迷于他们的数据。试图绕过他们的防御可能会给你带来麻烦(无论从你的角度来看这有多愚蠢)。如果他们和您都在美国，请准备好因违反CFAA而被起诉。 This has happened before for lesser reasons .

现在一些技术细节。你没有说你如何连接到互联网。如果您通过 DHCP 接收 IP，则需要要求 ISP 提供不同的地址。对于他们来说，这将是一个手动过程，因此请准备好发现他们方面没有什么热情。

Tor 听起来像是一个很好的解决方案，因为 Onion routing每次都应该使用不同的退出节点发出您的请求。但只有(相对)少量的退出节点，因此很可能在相对较短的时间后，您将尝试每个节点三次(如果其他人与您连接到相同的服务，情况会变得更糟)。

[EDIT2] 一种可能的解决方案可能是成为 ISP 并正式购买 IP 地址 block (就像任何普通 ISP 所做的那样)。

IPv6 block 不应该那么昂贵，但请注意，如果该服务仅适用于 IPv4，它们将无法为您带来任何帮助!如果是这种情况，那么您和服务之间将有一个 IPv6 到 IPv4 的桥接器，并且它会认为您始终使用相同的地址。

目前尝试购买 IPv4 地址是 probably hopeless (好吧，如果你愿意花很多钱，也许你可以获得一个区 block )。