python - Beautiful Soup 使用波斯字符串查找

Question

我想在 Python 中使用 Beautiful Soup 查找包含字符串的所有元素。

当我使用非波斯语字符时有效，但当我使用波斯语字符时无效。

from bs4 import BeautifulSoup
QUERY = 'رشته فارسی'
URL = 'http://www.example.com'
headers = {
  'User-Agent': "Mozilla/5.0 . . . "
}
request = urllib2.Request(URL, headers=headers)
response = urllib2.urlopen(request)
response_content = response.read().decode('utf8')
soup = BeautifulSoup(response_content, 'html.parser')
fetched = soup.find_all(text=QUERY)
print(fetched)

对于上面的代码，输出是 []，但如果我在查询中使用 ASCII，它就可以工作。

是否有任何 UTF-8 转换或其他解决方法:)？

Answer 1

    #-*- coding: utf-8 -*-
    import urllib2
    from bs4 import BeautifulSoup
    QUERY = 'خدمات'
    URL = 'https://bayan.ir/service/bayan/'
    headers = {
          'User-Agent': "Mozilla/5.0 . . . "
    }
    request = urllib2.Request(URL, headers=headers)
    response = urllib2.urlopen(request)
    response_content = response.read()
    soup = BeautifulSoup(response_content, 'html.parser')
    fetched = soup.find_all(string=QUERY)
    print(fetched)

有效!