python - 如何使用 beautifulsoup 将网站中的文本保存为 .txt 文件？

Question

我是 python 和网络抓取的新手。我遇到了一个问题，我似乎无法弄清楚如何解决它。

我正在尝试从网站复制文本，当我将所有内容打印到终端时，它弹出没问题。

问题是当我尝试将其保存到文本文件时。我收到此错误:

     Traceback (most recent call last):
     File "t3.py", line 43, in <module>
     Case_info.write(item.text+"\n")
     UnicodeEncodeError: 'ascii' codec can't encode characters in position 16-17: ordinal not in range(128)

我不知道如何解决它。我这个特定部分的代码如下:

import mechanize
import requests
from bs4 import BeautifulSoup
import re
.
.
.

def main():
   b=mechanize.Browser()
   return b.open(mainlink+case)

html_text=main().read()

soup = BeautifulSoup(html_text)

g_data=soup.findAll("div",{"class":"Print"})

Case_info=open("case_info.txt", "w+")

for item in g_data:
  print item.text
  Case_info.write(item.text+"\n")

Case_info.close()

另外，让我有些困惑的是这部分代码完美地完成了几乎完全相同的事情。

.
.
links = soup.findAll('a',href=True)
.
.
for link in links:
  if re.findall('keyword',link['href']):
   #print link.text, link['href'] 
   files.write(link['href']+"\n")
   names.write(link.text+"\n")
.
.

希望有人可以帮助解决问题。

Answer 1

使用 unidecode包，可以消除错误。

from unidecode import unidecode
for item in g_data:
  print item.text
  Case_info.write(unidecode (item.text+"\n"))