python - Python 中 CSV 列的列表

Question

所以我为 Scrapy 写了一个小片段来通过邮政编码在一个网站上搜索国家，但是浏览所有不存在的邮政编码似乎是一种浪费，所以，首先，这就是我所拥有的......

def start_requests(self):
       for i in xrange(100000):
           yield self.make_requests_from_url("http://www.example.com/zipcode/%05d/search.php" % i)

这个想法很明显，但我下载了一个 CSV 文件，其中一列包含所有美国邮政编码 - 我如何轻松地将其用作列表(或比列表更有效的方法)以用于上述示例？如果这会让事情变得更容易，我有 Pandas 。

Answer 1

如果我没理解错的话，您有一个以逗号分隔的文件，其格式使得在特定列(可能标题为“ZipCodes”)中每一行都有一个邮政编码。

如果有标题行和不同的列，并且您知道包含邮政编码的列的名称，您可以这样做:

def start_requests(self, filename, columnname):
    with open(filename) as file:
        headers = file.readline().strip().split(',')
        for line in file.readlines():
            zipcode = line.strip().split(',')[headers.index(columnname)]
            yield self.make_requests_from_url("http://www.example.com/zipcode/%05d/search.php" % zipcode)