python - 解析 JSON 时彻底修复 KeyError NoneType

Question

我是个菜鸟，使用一些借来的 python 代码对我用 tweepy 拉取的推文进行非常简单的 JSON 解析。我尝试解决自己的问题，但似乎制造了更多问题。

.txt 文件中的几行就会导致问题。一方面，该文件定期包含以下内容:

{"limit":{"track":3,"timestamp_ms":"1487481419833"}}

另一方面，对于某些推文，推文字段都在那里，但似乎不是 JSON 格式(例如 Sublime 无法识别这样的语法)。

结果是下面的代码给了我一个 KeyError 'text'

tweets['text'] = map(lambda tweet: tweet['text'], tweets_data)

所以我通过将其更改为来解决这个问题:

tweets['text'] = map(lambda tweet: tweet.get('text', None), tweets_data)

但是，现在我在使用代码时遇到了不同的错误:

def word_in_text(word, text):
word = word.lower()
text = text.lower()
match = re.search(word, text)
if match:
    return True
return False

我收到错误:

AttributeError: 'NoneType' object has no attribute 'lower'

我认为必须有一个更干净、更简单的解决方案来解决这一切。有什么建议么？下面是完整的代码(减去我正在打印的一些图表以及我在数据框中创建的更多列)。

非常感谢，如果我没有掌握正确的发帖礼仪，我深表歉意。

import json
import pandas as pd
import matplotlib.pyplot as plt
import re

tweets_data_path = '[...trump_tweets.txt]'

tweets_data = []
tweets_file = open(tweets_data_path, "r")
for line in tweets_file:
try:
    tweet = json.loads(line)
    tweets_data.append(tweet)
except:
    continue

print "Number of tweets included is " + str(len(tweets_data))

tweets = pd.DataFrame()

tweets['text'] = map(lambda tweet: tweet.get('text', None), tweets_data)
tweets['lang'] = map(lambda tweet: tweet.get('lang', None), tweets_data)
tweets['country'] = map(lambda tweet: tweet.get('place', None), tweets_data)

def word_in_text(word, text):
word = word.lower()
text = text.lower()
match = re.search(word, text)
if match:
    return True
return False

search_term_1 = 'America'
search_term_2 = 'POTUS'
search_term_3 = 'ban'

tweets[search_term_1] = tweets['text'].apply(lambda tweet: word_in_text(search_term_1, tweet))
tweets[search_term_2] = tweets['text'].apply(lambda tweet: word_in_text(search_term_2, tweet))
tweets[search_term_3] = tweets['text'].apply(lambda tweet: word_in_text(search_term_3, tweet))

print "tweets mentioning search_term_1: " + str(tweets[search_term_1].value_counts()[True])
print "tweets mentioning search_term_2: " + str(tweets[search_term_2].value_counts()[True])
print "tweets mentioning search_term_3: " + str(tweets[search_term_3].value_counts()[True])

Answer 1

怎么样:

tweets['text'] = map(lambda tweet: tweet.get('text', ''), tweets_data)

字典方法 .get() 默认情况下在缺少键的情况下返回 None，但它可能是任何对象。在这种情况下，tweet['text'] 可能是一个字符串，因此最好将缺失的字符串留空。