python - 如何从 Reddit 上的 subreddit 中抓取所有评论？

Question

我正在尝试从 subreddit 中抓取所有评论。我找到了一个名为 PRAW 的图书馆。举个例子

import praw
r = praw.Reddit('Comment parser example by u/_Daimon_')
subreddit = r.get_subreddit("python")
comments = subreddit.get_comments()

但是，这只会返回最近的 25 条评论。我如何解析 subreddit 中的所有评论？在 Reddit 界面上，有一个 next 按钮，因此应该可以逐页返回历史记录。

Answer 1

来自 the docs :

See UnauthenticatedReddit.get_comments() for complete usage.

那个函数有*args和**kwargs，函数注释:

The additional parameters are passed directly into get_content(). Note: the url parameter cannot be altered.

因此，我查看了该函数(找到它 here )。 get_content 的参数之一是limit。

limit – the number of content entries to fetch. If limit <= 0, fetch the default for your account (25 for unauthenticated users). If limit is None, then fetch as many entries as possible (reddit returns at most 100 per request, however, PRAW will automatically make additional requests as necessary).

(强调)。所以我的测试是:

 comments=subreddit.get_comments(limit=None)

我收到了 30 多条评论(可能是 100 条的限制，但我必须手动查看它们，所以我认为 30 条就足够了)。