python - 要处理的推文列表

Question

我目前正在做这个数据科学问题，当我试图循环访问存储在经过过滤的推文列表中的每条推文时，我一直遇到一个问题，这意味着将它们发送到新函数以进一步清理.

k1_tweets_filtered 只是一个推文列表，其中删除了任何少于 20 个字符的推文。我现在要做的是将该列表发送到另一个函数以进一步处理，但它只做 1 条推文。列表被twitter搜索占用。

问题是它只对第一条推文这样做，没有别的。我需要它来处理该列表中的每条推文。查看 k1_tweets_filtered 的 len，它的 512 然后 len of processed 只显示 14。也许我的循环是错误的？

谢谢你的帮助!

代码:

k1_tweets_processed = []
for tweet in k1_tweets_filtered:
    k1_tweets_processed = pre_process(tweet_k1)

def pre_process(doc):
    doc = doc.lower()
    # getting rid of non ascii codes
    doc = remove_non_ascii(doc)

    # replacing URLs
    url_pattern = "http://[^\s]+|https://[^\s]+|www.[^\s]+|[^\s]+\.com|bit.ly/[^\s]+"
    doc = re.sub(url_pattern, 'url', doc) 

    punctuation = r"\(|\)|#|\'|\"|-|:|\\|\/|!|\?|_|,|=|;|>|<|\.|\@"
    doc = re.sub(punctuation, ' ', doc)

    return [w for w in doc.split() if len(w) > 2]

它对一条推文工作正常，但我正在尝试将整个列表发送给它，以便正确处理其中的每条推文。最终列表应该正确处理每条推文，而不仅仅是前 1 条。

Answer 1

看起来您正在将列表的值设置为函数的输出。相反，您需要在 for 循环中使用类似这样的内容添加到列表中:

for tweet in k1_tweets_filtered:   
    k1_tweets_processed.append(pre_process(tweet))

如果对您有帮助请采纳