python - 非英文文本python不可读-6ren

python - 非英文文本python不可读

转载作者：可可西里更新时间：2023-11-01 16:52:15

27

4

我正在编写一个爬虫程序并获取非英语网站的标题。当我在我的控制台中打印标题时变得像这样:

à¦¶à§à¦°à§à¦²à¦à§à¦à¦¾à¦° à¦à¦¾à¦²à§ à¦¸à§à¦à¦¨à¦¾
à¦«à¦à¦¿à¦°à¦¾à¦ªà§à¦²à§ à¦¹à¦¾à¦¤à¦¬à§à¦®à¦¾ à¦¬à¦¿à¦¸à§à¦«à§à¦°à¦£, à¦à¦à¦ à§§à§¬
à¦¦à§à¦ à¦¬à¦¾à¦à¦²à¦¾à¦¦à§à¦¶à¦¿à¦à§ à¦¨à¦¿à§à§ à¦à§à¦à§ à¦¬à¦¿à¦à¦¸à¦à¦«
à¦à¦¾à¦®à¦¾à§à¦¾à¦¤ à¦¨à§à¦¤à¦¾ à¦¸à§à¦²à¦¿à¦®à¦¸à¦¹ à¦¦à§à¦à¦¨ à¦à§à¦°à§à¦ªà§à¦¤à¦¾à¦°

我不知道如何从上述字符串中获取正确的文本。

有什么想法吗？

提前致谢。

最佳答案

这看起来像 UTF-8 编码的孟加拉文本，其中散布着 HTML 字符引用，被错误地解释为 windows-1252 字符。也可以是关于其他任何事情，真的。

在抓取网页时，您应该大致执行浏览器和一般搜索引擎在决定字符编码时所做的事情。这绝非微不足道。在 HTML5 RC 中，第 8.2.2.1 节 Determining the character encoding是对描述过程的尝试。

关于python - 非英文文本python不可读，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15289584/

27

4

0

文章推荐： c# - i==0 和 0==i 有区别吗？

文章推荐： hadoop - java中通过Spark存储orc格式

文章推荐： html - http响应中的空格和空行是否会影响下载页面的速度？

文章推荐： regex - 在 hadoop 中的 Pig 中使用正则表达式

python - 不可 JSON 序列化的项目的管道
我正在尝试将抓取的 xml 输出写入 json。由于项目不可序列化，抓取失败。从这个问题来看，它建议您需要构建一个管道，未提供的答案超出了问题 SO scrapy serializer 的范围。所
c++ - 参数的重载函数(不可)在编译时推导
有没有一种方法可以通过重载函数来区分参数是在编译时可评估还是仅在运行时可评估？假设我有以下功能: std::string lookup(int x) { return table::va
wpf - 为什么 CompositeCollection 不可 Freezable？
我正在使用 MVVM 模式编写一个应用程序。我通过将 View 的 DataContext 属性设置为 ViewModel 的实例来向 View 提供数据。一般来说，我只是从那里使用 Binding
python - 字节串怎样才能很好的存储呢？ - 不可 JSON 序列化 -
对于一个项目，我正在使用带有简单 python module 的传感器收集多个红外命令。 . 我收到如下字节字符串: commando1= b'7g4770CQfwCTVT9bQDAzVEBMagGR
python - Decimal 不可 JSON 序列化
我有一个计算方法，可以在用户使用 Cartridge 作为我的商店框架结账时计算税费。税 = 税 * 小数(str(settings.SHOP_DEFAULT_TAX_RATE)) 计算工作正常。然
python - pickle 不可 pickle 的对象
我正在用 pygame 制作一个绘图程序，我想在其中为用户提供一个选项来保存程序的确切状态，然后在稍后重新加载它。在这一点上，我保存了我的全局字典的副本，然后遍历， pickle 每个对象。 pyga
c++ - 使类不可复制*和*不可 move
在 C++11 之前，我可以使用它来使类不可复制: private: MyClass(const MyClass&); MyClass& operator=(const MyClass&); 使用 C
c++ - LinearHashTable iter 不可取消引用且 iter 不可
大家好 :) 我在我的 VC++ 项目中使用 1.5.4-all (2014-10-22)(适用于 x86 平台的 Microsoft Visual C++ 编译器 18.00.21005.1)。我
python - TypeError : array([ 0.]) 不可 JSON 序列化
我有一个 python 文件:analysis.py: def svm_analyze_AHE(file_name): # obtain abp file testdata = pd.
python - 不可 JSON 序列化 - Python + Flask + Sqlalchemy
这个问题已经有答案了: How to serialize SqlAlchemy result to JSON? (37 个回答) 已关闭 4 年前。我正在编写小查询来从 mysql 获取数据数据库，
python - TypeError : {1, 3} 不可 JSON 序列化
我是 Python 初学者，我在 JSON 方面遇到了一些问题。在我正在使用的教程中有两个函数: def read_json(filename): data = [] if os.pa
javascript - 如何使 HTML 元素在 iPad 上**不可**旋转？
我目前正在开发一个针对 iPad 的基于 HTML5 Canvas/JavaScript 的小型绘图应用程序。它在 Safari 中运行。到目前为止，除了一件事之外，一切都进展顺利。如果我旋转设备，
c++ - 不可 move -不可复制对象的 vector 的 move 分配不编译
以下代码无法使用 Visual Studio 2013 编译: #include struct X { X() = default; X(const X&) = delete;
python - TypeError : array( ['cycling' ], dtype=object) 不可 JSON 序列化
嗨，我制作了一个文本分类分类器，我在其中使用了它，它返回一个数组，我想返回 jsonresponse，但最后一行代码给我错误 'array(['cycling'], dtype =object) 不可
python - TypeError : sqlalchemy. orm.attributes.InstrumentedAttribute 对象位于 0x7f86789f9bf8 不可 JSON 序列化
我使用 Flask 和 Flask-Login 进行用户身份验证。 Flask-Sqlalchemy 将这些模型存储在 sqlite 数据库中: ROLE_USER = 0 ROLE_ADMIN =
python - 如何将 Python 对象(不可 JSON 序列化)从一个 (AWS) lambda 函数传递到另一个？
如果您尝试发送不可 JSON 序列化的对象(列表、字典、整数等以外的任何对象)，您会收到以下错误消息: "errorMessage": "Object of type set is not JSON
c++ - 如果 T 不可 move ，则 std::vector 是否可 move ？
我在尝试 move std::vector 时遇到崩溃其中 T显然是不可 move 的(没有定义 move 构造函数/赋值运算符，它包含内部指针) 但为什么 vector 的 move 函数要调用 T
python - jwt.encode 失败，显示 "Object of type ' 字节“不可 JSON 序列化”
我尝试在用户成功登录后将 token 返回给他们，但不断收到以下错误: 类型错误:“字节”类型的对象不可 JSON 序列化我该如何解决这个问题？这是我到目前为止的代码: if user:

首页

博学

6Ren·AI

商城

python - 非英文文本python不可读