python - "Hashtable"用于 Python Twitter 爬虫

Question

作为我正在创建的 python 推特爬虫的一部分，我试图制作一个“哈希表”，以确保我不会多次爬行任何用户。它在下面。但是，我遇到了一些问题。当我开始对用户 NYTimesKrugman 进行爬取时，我似乎不止一次地爬取了一些用户。当我开始对用户 cleversallie 进行爬取时(在另一个完全独立的爬取中)，我不会多次爬取任何用户。任何对此行为的洞察力将不胜感激!!!

from BeautifulSoup import BeautifulSoup
import re
import urllib2
import twitter

start_follower = "cleversallie" 
depth = 3

U = list()

api = twitter.Api()

def add_to_U(user):
   U.append(user)

def user_crawled(user):
   L = len(L)
   for x in (0, L):
      a = L[x]
      if a != user:
         return False
      else:
         return True

def turn_to_names(users):
    names = list()
    for u in users:
       x = u.screen_name
       names.append(x)
    return names

def test_users(users):
   new = list()
   for u in users:
      if (user_crawled):
         new.append(u)
   return new

def crawl(follower,in_depth): #main method of sorts
   if in_depth > 0:
      add_to_U(follower)
      users = api.GetFriends(follower)
      names = turn_to_names(users)
      select_users = test_users(names)
      for u in select_users[0:5]:
         crawl(u, in_depth - 1)

crawl(start_follower, depth)
for u in U:
   print u
print("Program done.")

编辑根据大家的建议(非常感谢大家!)我重写了代码如下:

import re
import urllib2
import twitter

start_follower = "NYTimesKrugman"
depth = 4

searched = set()

api = twitter.Api()

def crawl(follower, in_depth):
    if in_depth > 0:
        searched.add(follower)
        users = api.GetFriends(follower)
        names = set([str(u.screen_name) for u in users])
        names -= searched
        for name in list(names)[0:5]:
            crawl(name, in_depth-1) 

crawl(start_follower, depth)
for x in searched:
    print x
print "Program is completed."

Answer 1

你有一个错误，你将 L = 设置为 len(L)，而不是 len(U)。此外，您还有一个错误，如果第一个用户不匹配，您将返回 false，而不是如果每个 用户不匹配。在 Python 中，相同的函数可以写成以下任一形式:

def user_crawled(user):
  for a in l:
    if a == user:
      return True

  return False

def user_crawled(user):
  return user in a

test_users 函数使用 user_crawled 作为变量，实际上并没有调用它。此外，您似乎在做与您打算相反的事情，您希望 new 填充未经测试的用户，而不是经过测试的用户。这是修正了错误的函数:

def test_users(users):
   new = list()
   for u in users:
      if not user_crawled(u):
         new.append(u)
   return new

使用生成器函数，您可以进一步简化函数(前提是您打算循环处理结果):

def test_users(users):
   for u in users:
      if not user_crawled(u):
         yield u

还可以使用过滤功能:

def test_users(users):
   return filter(lambda u: not user_crawled(u), users)

您使用列表来存储用户，而不是基于散列的结构。当你需要一个永远不会有重复并且需要快速存在性测试的类似列表的结构时，Python 提供了集合。也可以减去集合以从另一个集合中删除一个集合中的所有元素。

此外，您的列表 (U) 是用户列表，但您将其与用户名进行匹配。您只需要存储每个添加的用户的用户名。此外，您在程序中的某一时刻使用 u 代表用户，而在另一时刻代表用户名，您应该使用更有意义的变量名称。

python 的语法糖最终消除了对所有函数的需求。这就是我重写整个程序的方式:

import twitter

start_follower = "cleversallie" 
MAX_DEPTH = 3

searched = set()

api = twitter.Api()

def crawl(follower, in_depth=MAX_DEPTH):
   if in_depth > 0:
      searched.add(follower['screen_name'])

      users = api.GetFriends(follower)
      names = set([u['screen_name'] for u in users])

      names -= searched
      for name in list(names)[:5]:
         crawl(name, in_depth - 1)

crawl(start_follower)

print "\n".join(searched)
print("Program done.")