python - Textblob - HTTPError : HTTP Error 429: Too Many Requests

Question

我有一个数据框，其中一列在每一行都有一个字符串列表。

平均而言，每个列表有 150 个单词，每个单词大约 6 个字符。

数据框的 700 行中的每一行都与一个文档有关，每个字符串都是该文档的一个单词；所以基本上我已经标记了文档的文字。

我想检测每个文档的语言，为此我首先尝试检测文档中每个单词的语言。

为此，我执行以下操作:

from textblob import TextBlob

def lang_detect(document):

    lang_count = {}
    for word in document:

        if len(word) >= 4:

            word_textblob = TextBlob(word)
            lang_result = word_textblob.detect_language()

            response = lang_count.get(lang_result)

            if response is None:  
                lang_count[f"{lang_result}"] = 1
            else:
                lang_count[f"{lang_result}"] += 1

    return lang_count

df_per_doc['languages_count'] = df_per_doc['complete_text'].apply(lambda x: lang_detect(x))

当我这样做时，我收到以下错误:

---------------------------------------------------------------------------
HTTPError                                 Traceback (most recent call last)
<ipython-input-42-772df3809bcb> in <module>
     25 
---> 27 df_per_doc['languages_count'] = df_per_doc['complete_text'].apply(lambda x: lang_detect(x))
     28 
     29 
.
.
.

    647 class HTTPDefaultErrorHandler(BaseHandler):
    648     def http_error_default(self, req, fp, code, msg, hdrs):
--> 649         raise HTTPError(req.full_url, code, msg, hdrs, fp)
    650 
    651 class HTTPRedirectHandler(BaseHandler):

HTTPError: HTTP Error 429: Too Many Requests

错误要长得多，我在中间省略了其余部分。

现在，即使我尝试仅对两个文档/行执行此操作，我也会遇到相同的错误。

有什么方法可以让我得到来自 textblob 的回复吗？想要更多的文字和文件？

Answer 1

我在尝试翻译推文时遇到了同样的问题。
由于我超过了速率限制，它开始返回 HTTP 429 too many requests 错误。

因此，对于可能想要处理 TextBlob 的其他人，最好检查速率限制。 Google 提供了有关限制的信息:
https://cloud.google.com/translate/quotas?hl=en

如果超出速率限制，则必须等到配额在太平洋时间午夜重置。可能需要 24 小时才能再次生效。

另一方面，你也可以介绍一个延迟 在您的请求之间不打扰 API 服务器。

例如:当您要翻译列表中的 TextBlob 句子时。

import time
...
for sentence in list_of_sentences:
    sentence.translate()
    time.sleep(1) #to sleep 1 sec