python - 导出到 .csv 或 .xlsx 时如何翻译刮取文本的语言？

Question

我正在尝试从各种公共(public)政府网站上抓取选举结果，并将它们放在 .csv 或 .xlsx 文件中。但是，当我将文本数据导出到任一类型的电子表格时，我遇到的输出如下所示:

ÏÎ˲ÒÈ×ÍÀ ÏÀÐÒ²ß "ÓÊÐÀ¯ÍÑÜÊÀ ÑÒÐÀÒÅÃ²ß ÃÐÎÉÑÌÀÍÀ"

在网站上，文本如下所示:

ПОЛІТИЧНА ПАРТІЯ "СЛУГА НАРОДУ"

但我试图让它看起来像:

POLITICAL PARTY "SERVANT OF THE PEOPLE"

我尝试将 .csv 文件导入使用 UTF-8 和各种其他“文件来源”编码的新 excel 文档，但输出看起来相同。我什至尝试在 Google Sheets 上使用 Google Translate 翻译文本，但这也不起作用。关于如何翻译/音译最初采用不同脚本(文本样式)的抓取文本的任何想法？
这是我的脚本:

import requests
from requests import get
from bs4 import BeautifulSoup
import pandas as pd

from time import sleep
from random import randint

partynames = []

for page in range(11,222):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html", verify=False)

    soup = BeautifulSoup(page.text, 'html.parser')
    
    ukraine_tr = soup.find_all('tr')

    sleep(randint(2,10))

    for container in ukraine_tr:

        #### PARTY NAMES ####
        partyn = container.find('a',class_='a2')
        if partyn is not None:
            name = partyn.get_text()
        else:
            name = "N/A"
        partynames.append(name)

ukraine = pd.DataFrame({
'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

Answer 1

实际上，有一个简单的解决方法:
您必须使用以下代码交换编码:

page.encoding = page.apparent_encoding

这是一个基于您的代码的工作示例:

import requests
from bs4 import BeautifulSoup
import pandas as pd

from time import sleep
from random import randint

partynames = []

for page in range(11, 12):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",
                        verify=False)
    page.encoding = page.apparent_encoding

    soup = BeautifulSoup(page.text, 'html.parser')
    ukraine_tr = soup.find_all('tr')
    sleep(randint(2, 10))

    for container in ukraine_tr:
        partyn = container.find('a', class_='a2')
        if partyn is not None:
            name = partyn.get_text()
        else:
            name = "N/A"
        partynames.append(name)

ukraine = pd.DataFrame({
    'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

输出:

3,"ПОЛІТИЧНА ПАРТІЯ ""СЛУГА НАРОДУ"""
4,"ПОЛІТИЧНА ПАРТІЯ ""УКРАЇНСЬКА СТРАТЕГІЯ ГРОЙСМАНА"""
5,"Політична партія ""Європейська Солідарність"""
6,"політична партія Всеукраїнське об’єднання ""Батьківщина"""
7,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА І ЧЕСТЬ"""
8,"Політична партія ""ОПОЗИЦІЙНА ПЛАТФОРМА – ЗА ЖИТТЯ"""
9,"Політична Партія ""ГОЛОС"""
10,"політична партія Всеукраїнське об’єднання ""Свобода"""
11,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ШАРІЯ"""
12,"ПОЛІТИЧНА ПАРТІЯ ""РАДИКАЛЬНА ПАРТІЯ ОЛЕГА ЛЯШКА"""
13,"Політична партія ""ОПОЗИЦІЙНИЙ БЛОК"""
14,"політична партія ""Громадянська позиція"""
15,"Політична партія ""Рух Нових Сил Михайла Саакашвілі"""
16,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ЗЕЛЕНИХ УКРАЇНИ"""
17,"Політична партія ""Об’єднання ""САМОПОМІЧ"""
18,Аграрна партія України
19,"Політична партія ""Сила Людей"""
20,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА ПРАВА"""
21,"ПОЛІТИЧНА ПАРТІЯ ""СОЦІАЛЬНА СПРАВЕДЛИВІСТЬ"""
22,"Політична Партія ""ПАТРІОТ"""
23,"ПОЛІТИЧНА ПАРТІЯ ""НЕЗАЛЕЖНІСТЬ"""
24,"ПОЛІТИЧНА ПАРТІЯ ""ВСЕУКРАЇНСЬКЕ ОБ’ЄДНАННЯ ""ФАКЕЛ"""

编辑:
翻译东西!
您可以使用 googletrans将源文本翻译成英文。
首先运行 pip install googletrans然后试试这个:

from time import sleep
from random import randint

import pandas as pd
import requests
from bs4 import BeautifulSoup
from googletrans import Translator


traslator = Translator()
partynames = []


for page in range(11, 12):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",
                        verify=False)
    page.encoding = page.apparent_encoding

    soup = BeautifulSoup(page.text, 'html.parser')
    ukraine_tr = soup.find_all('tr')
    sleep(randint(2, 10))

    for container in ukraine_tr:
        partyn = container.find('a', class_='a2')
        if partyn is not None:
            name = traslator.translate(partyn.get_text()).text
        else:
            name = "N/A"

        partynames.append(name)

ukraine = pd.DataFrame({
    'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

输出:

3,"POLITICAL PARTY ""SERVANT OF THE PEOPLE"""
4,"POLITICAL PARTY ""UKRAINIAN GROISMAN'S STRATEGY"""
5,European Solidarity Political Party
6,Batkivshchyna All-Ukrainian Union Political Party
7,"POLITICAL PARTY ""POWER AND HONOR"""
8,"Political party ""OPPOSITION PLATFORM - FOR LIFE"""
9,VOICE Political Party
10,"political party All-Ukrainian Union ""Freedom"""
11,"POLITICAL PARTY ""PARTY OF SHARIA"""
12,"POLITICAL PARTY ""RADICAL PARTY OF OLEH LYASHKO"""
13,OPPOSITION BLOC political party
14,Civic Position political party
15,Mikheil Saakashvili's New Forces Movement political party
16,"POLITICAL PARTY ""PARTY OF THE GREENS OF UKRAINE"""
17,SAMOPOMICH Association Political Party
18,Agrarian Party of Ukraine
19,People's Power Political Party
20,"POLITICAL PARTY ""POWER OF LAW"""
21,SOCIAL JUSTICE POLITICAL PARTY
22,PATRIOT Political Party
23,INDEPENDENCE POLITICAL PARTY
24,"ALL-UKRAINIAN ASSOCIATION ""TORCH"" POLITICAL PARTY"