Python:Beautifulsoup 为 tis-620、字符集 windows-874 返回错误的解码-6ren

Python:Beautifulsoup 为 tis-620、字符集 windows-874 返回错误的解码

转载作者：太空宇宙更新时间：2023-11-04 06:06:53

25

4

我正在尝试使用代码 tis-620 读取泰国网站并将结果转换为 utf-8，以便我可以上传到任何数据库。

我注意到 beautifulsoup 的行为。

简单的例子

来源:

"""http-equiv="Content-Type"content="text/html;字符集=windows-874"

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" 
     "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
     <html xmlns="http://www.w3.org/1999/xhtml"><head>

    <meta http-equiv="Content-Type" content="text/html; charset=windows-874" />
    <meta name="description" content="Discussion Forum" />
    </head>
    <body>
        hello
        <dl>
            <dt>no  English Thai    abbrev. phonemic</dt>
            <dt>01  January มกราคม  ม.ค.    mohkH gaL raaM khohmM</dt>
            <dt>02  February    กุมภาพันธ์  ก.พ.    goomM phaaM phanM</dt>
            <dt>03  March   มีนาคม  มี.ค.   meeM naaM khohmM</dt>
            <dt>04  April   เมษายน  เม.ย.   maehM saaR yohnM</dt>
            <dt>05  May พฤษภาคม พ.ค.    phreutH saL phaaM khohmM</dt>
            <dt>06  June    มิถุนายน    มิ.ย.   miH thooL naaM yohnM</dt>
            <dt>07  July    กรกฎาคม ก.ค.    gaL raH gaL daaM khohmM</dt>
            <dt>08  August  สิงหาคม ส.ค.    singR haaR khohmM</dt>
            <dt>09  September   กันยายน ก.ย.    ganM yaaM yohnM</dt>
            <dt>10  October ตุลาคม  ต.ค.    dtooL laaM khohmM</dt>
            <dt>11  November    พฤศจิกายน   พ.ย.    phreutH saL jiL gaaM yohnM</dt>
            <dt>12  December    ธันวาคม ธ.ค.    thanM waaM khohmM</dt>
        </dl>
   </body>
   </html>

Python 编程:

1。示例

import urllib2
from bs4 import BeautifulSoup
from datetime import date
import sys

sys.setdefaultencoding("tis-620")
reload(sys)
fthai = open('translation_thai.html','r')
soup = BeautifulSoup(fthai.read())
ln = soup.findAll('dl')
translation=[]
dttag = ln[0].findNext('dt')
for el in dttag.nextSiblingGenerator():
    if el <> u'\n':
        ss = el.get_text()
        vsep = el.get_text().encode('utf8').split('\t')
        line=[]
        for x in range(0,3):
            line.append(vsep[x])
        translation.append(line)
fthai.close()

ss 返回 u'03\tMarch\t\xc1\xd5\xb9....

vsep 返回['03','March','\xc3\x81\xc3……

根据utf8表有什么问题

2。没有 beautifulsoup 的例子

import urllib2
import sys

sys.setdefaultencoding("tis-620")
reload(sys)
fthai = open('translation_thai.html','r')
array = []
x=-1
for line in fthai:
    x=x+1
    array.append( line )
    print array[x],x
sp = array[17].split('\t')
sp1 = sp[2].encode('utf8')

sp返回['03','March','\xc1\xd5\xb9……

sp1 返回 '\xe0\xb8\xa1\xe0\xb8\xb5

正确!

根据utf8表

3617 e21 ม E0B8A1 1110 0000 1011 1000 1010 0001 ม

3637 e35 ี E0B8B5 1110 0000 1011 1000 1011 0101 ี

有没有人告诉我如何解决错误的行为。

最佳答案

我的解决方案:

我现在调用 convert 而不是 encode('utf-8')，它有点慢，但它有效。

def convert(content):
    #print content
    result = ''
    for char in content:
        asciichar = char.encode('ascii',errors="backslashreplace")[2:]
        if asciichar =='':
            utf8char = char.encode('utf8')
        else:  
            try:
                hexchar =  asciichar.decode('hex')
            except:
                #print asciichar
                utf8char = ' '
            try:
                utf8char = hexchar.encode('utf-8')
            except:
                #print hexchar
                utf8char = ' '
            #print utf8char

        result = result + utf8char    
        #print result
    return result

关于Python:Beautifulsoup 为 tis-620、字符集 windows-874 返回错误的解码，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21473878/

25

4

0

文章推荐： javascript - 无法使用 backbone.js 向 flask-restful API 发出请求

文章推荐： linux - 使用awk查找字母并打印结果

文章推荐： linux - 路由器上的服务器编程(linux)

文章推荐： python scrapy动态选择xpaths和css

php - 返回 1 返回 0 VS 返回 true 返回 false
按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the
php - 什么更快？如果()返回；否则返回；或者如果()返回；返回;
在编码时，我问了自己这个问题: 这样更快吗: if(false) return true; else return false; 比这个？ if(false) return true; return
javascript - 以逻辑运算符返回(&& 返回、|| 返回)
如何在逻辑条件下进行“返回”？在这样的情况下这会很有用 checkConfig() || return false; var iNeedThis=doSomething() || return fa
正则表达式 - 如果第一个数字是 1 返回 1 但如果它是 145 返回 145 但如果它的 133 返回 133
这是我的正则表达式 demo 如问题所述: 如果第一个数字是 1 则返回 1 但如果是 145 则返回 145 但如果是 133 则返回 133 样本数据a: K'8134567 K'81345678
c - 返回-返回!在 C
在代码高尔夫问答部分查看谜题和答案时，我遇到了 this solution返回 1 的最长和最晦涩的方法引用答案， int foo(void) { return! 0; } int bar(
java - springboot 返回 responseentity 返回 JSON
我想在下面返回 JSON。 { "name": "jackie" } postman 给我错误。说明 Unexpected 'n' 这里是 Spring Boot 的新手。 1日龄。有没有正确的方法来
python "is"返回 True 但 "=="返回 False
只要“is”返回 True，“==”不应该返回 True 吗？ In [101]: np.NAN is np.nan is np.NaN Out[101]: True In [102]: np.NAN
Mysql 返回 1 如果找到或根本不存在值，如果存在其他值，返回 0
我需要获取所有在 6 号或 7 号房间或根本不在任何房间的学生的详细信息。如果他们在其他房间，简单地说，我不希望有那个记录。我的架构是: students(roll_no, name,class,.
javascript - ajax 返回 true，但 == 返回 false
我有一个表单，我将它发送到 php 以通过 ajax 插入到 mysql 数据库中。一切顺利，php 返回 "true" 值，但在 ajax 中它显示 false 消息。在这里你可以查看php代码:
android - Kotlin 中的奇怪值比较问题， "==="返回 true 但 "=="返回 false
我在 Kotlin 中遇到了一个非常奇怪的无法解释的值比较问题，以下代码打印假 data class Foo ( val a: Byte ) fun main() { val NUM
angular - testability.whenStable() 返回， testability.isStable() 返回 false
请注意，这并非特定于 Protractor。问题在于 Angular 2 的内置 Testability service Protractor 碰巧使用。 Protractor 调用 Testabil
vba - CountA 返回 0，WorksheetFunction.CountA 返回 1
在调试窗口中，以下表达式均返回 1。 Application.WorksheetFunction.CountA(Cells(4 + (i - 1) * rows_per_record, 28) & "
json - OPTIONS 返回 204，POST 返回 200 但数据库中没有输入数据
我在本地使用 jsonplaceholder ( http://jsonplaceholder.typicode.com/)。我正在通过 extjs rest 代理测试我的 GET 和 POST 调用
c# - Restsharp 返回 403 而 Postman 返回 200
这是 Postman 为成功调用我的页面而提供的(修改后的)代码段。 var client = new RestClient("http://sub.example.com/wp-json/wp/v2
php - Mysqli_query 返回 false 而 Mysqli_error 返回 NULL？
这个问题在这里已经有了答案: What to do with mysqli problems? Errors like mysqli_fetch_array(): Argument #1 must
c - Argc 返回 1，argv 返回 NULL，尽管输入了命令行参数
我想我对 C 命令行参数有点生疏。我查看了我的一些旧代码，但无论这个版本是什么，都会出现段错误。运行方式是 ./foo -n num(其中 num 是用户在命令行中输入的数字) 但不知何故它不起作用
c++ - 命名管道 CreateFile() 返回 INVALID_HANDLE_VALUE，GetLastError() 返回 ERROR_PIPE_BUSY
我已经编写了一个类来处理命名管道连接，如果我创建了一个实例，关闭它，然后尝试创建另一个实例，调用 CreateFile() 返回 INVALID_HANDLE_VALUE，并且 GetLastErro
PHP is_writable() 返回 true 但 file_put_contents() 返回 false
即使 is_writable() 返回 true，我也无法写入文件。当然，该文件存在并且显然是可读的。这是代码: $file = "data"; echo file_get_contents($fil
php - SoapClient 返回 "NULL"，但 __getLastResponse() 返回 XML
下面代码中的变量 $response 为 NULL，尽管它应该是 SOAP 请求的值。 (潮汐列表)。当我调用 $client->__getLastResponse() 时，我从 SOAP 服务获得了
c - LoadImage() 返回 NULL 和 GetLastError() 返回 0
我一直在网上的不同论坛上搜索答案，但似乎没有与我的情况相符的... 我正在使用 Windows 7，VS2010。我有一个使用定时器来调用任务栏刷新功能的应用程序。在该任务栏函数中包含对 LoadI

首页

博学

6Ren·AI

商城