python - 如何通过 tweepy 将推文导出为 txt 或 json？

Question

我正在使用 tweepy 来捕获推特数据，我想知道我是否有如何将推文导出到 json、txt 或 csv 文件？我的代码:

#coding = utf-8

import json
import tweepy
from tweepy import OAuthHandler
from tweepy import Stream
from tweepy.streaming import StreamListener

consumer_key = "my_consumer_key"
consumer_secret = "my_consumer_secret"
access_token = "my_acess_token"
access_token_secret = "my_acess_token_secret"

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

api = tweepy.API(auth)

def saida_json(tweet):
    with open('tweet.json', 'a', encoding='utf-8') as f:
        json.dump(tweet, f)

def saida_txt(tweet):
    with open('tweet.txt', 'a', encoding='utf-8') as f:
        for linha in tweet:
            f.write(tweet + '\n')

name = "usersl"
tweetCount = 20
public_tweets = api.home_timeline()
user_tweets = api.user_timeline(id=name, count=tweetCount)

for tweet in user_tweets:
    print(tweet.user.screen_name, tweet.text)
    saida_txt(tweet.text)
    saida_json(tweet)

我尝试过通过函数来​​实现，但每次都会出错。在 txt 文件中，它只写了第一条推文和 json，通知“它没有序列化”。我的错误在哪里？

Answer 1

如果您尝试将您的 tweet 写入 JSON 文件，json.dump 将尝试将其转换为 JSON 格式。这个过程称为 serialization . json.dump 仅支持默认编码器中的一小部分类型，您可以阅读 in the Python documentation .由于 tweeps 用来表示 Tweet 的类不是这些类型的一部分，因此 json 模块会引发您提到的异常。

作为一种解决方案，您可以序列化包含有关推文的各种数据的字典，这是一个示例:

def tweet_to_json(tweet):
    tweet_dict = {
        "text": tweet.text,
        "author_name": tweet.user.screen_name
    }
    with open('tweet.json', 'w+') as f:
        json.dump(tweet_dict, f)

请注意，对 JSON 文件使用追加模式通常不是一个好主意。您可以改用 JSON 列表。 This reply to another question可能会帮助你。

编辑:这是保存 JSON 列表的示例:

result = []
for tweet in api.user_timeline(id=name, count=tweetCount):
    result.append({
        'text': tweet.text, 
        'author_name': tweet.user.screen_name
    })
with open('tweet.json', 'w+') as f:
    json.dump(result, f)