java - 一个数组列表可以容纳多少个字符串？

Question

我正在尝试编写一个网络爬虫。当我浏览一个大页面时，我的 arraylist 变量无法保存所有数据。它抛出以下异常。线程“Thread-0”java.lang.StackOverflowError”中出现异常。

保存这些网址的最佳方式是什么，因为我需要访问这些网址和子网址等。

我想过保存到数据库或写入文件，但这些机制可能会降低爬虫的性能。

Answer 1

when I am going through a large page my arraylist variable is not able to hold all the data

这是不正确的。

Exception in thread "Thread-0" java.lang.StackOverflowError

StackOverflowException 不是由于耗尽 ArrayList 容量(即 2^31-1 条目)而引起的。这是由于过度递归造成的。

您可能没有跟踪已访问过的网址，并且遇到了链接周期。