- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在使用 Jeff's demo code使用 YouTube API 和 Python 与我的视频的字幕进行交互。我用它来制作我的英文视频效果很好。不幸的是,当我尝试将它用于具有西类牙语自动转录(包含 á¡ 等字符)的视频时,出现编码错误:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 25: ordinal not in range(128)
我的 Python 脚本顶部有 # -*- coding: utf-8 -*-
并且我已将 CAPTIONS_LANGUAGE_CODE
更改为 'es'
,但似乎脚本仍在将其下载的 .srt 文件解释为 ascii
而不是 utf-8
。它下载 .srt 文件的行是:
if response_headers["status"] == "200":
self.srt_captions = SubRipFile.from_string(body)
如何让 Python 将 srt 文件视为 utf-8
,这样它就不会抛出编码错误?
谢谢!
最佳答案
看起来这根本不是 Youtube API 问题,而是 Python 问题。请注意,您的错误不是编码错误,而是解码错误;您偶然发现了 Python 的设计工作方式(无论好坏)。 Python 中的许多很多函数会将 unicode 数据转换为 8 位字符串而不是 native unicode 对象,使用\x 和十六进制数来表示大于 127 的字符。(这样的方法之一是您使用的 SubRipFile 对象的“from_string”方法正在使用。)因此数据仍然是 unicode,但对象是一个字符串。因此,当您随后强制转换为 unicode 对象时(通过在您提供的示例代码中使用 unicode 对象的“join”方法触发),Python 将采用 ascii 编解码器(8 位字符串的默认设置) ,无论数据编码如何)来处理数据,然后在这些十六进制字符上引发错误。
有几种解决方案。
1) 你可以明确地告诉 Python,当你运行你的 join 方法时不要假设一个 ascii 编解码器,但我总是很难做到这一点(并且在每种情况下都这样做)。所以我不会尝试一些示例代码。
2) 您可以放弃 native unicode 对象,只使用 8 位字符串来处理您的 unicode 数据;这只需要您更改此行:
body = u'\n'.join(lines[2:])
对此:
body = '\n'.join(lines[2:])
但是,这种方法有潜在的缺点——同样,您必须确保在每种情况下都这样做;您也不会利用 Python 原生的 unicode 对象(这可能会或可能不会成为您代码后期的问题)。
3) 您可以使用低级“编解码器”模块来确保从一开始就将数据转换为 native unicode 对象,而不是乱用 8 位字符串。通常,您以这种方式完成这样的任务:
import codecs
f=codecs.open('captions.srt',encoding='utf-8')
l=f.readlines()
f.close()
type(l[0]) # will be unicode object rather than string object
当然,使用返回字符串的 SubRipFile 对象会很复杂,但是您可以通过通过 StringIO 对象发送它来解决这个问题(这样编解码器模块可以将翻录的数据视为文件),使用codecs.encode() 方法等。Python 文档对所有这些都有很好的部分。
祝你好运。
关于python - 在带有 utf-8 字符的 Python 中使用 API 下载 YouTube 字幕,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13688470/
UTF-8、UTF-16 和 UTF-32 之间有何区别? 据我所知,它们都将存储 Unicode,并且每个都使用不同数量的字节来表示字符。选择其中之一是否有优势? 最佳答案 当 ASCII 字符代表
好的。我知道这看起来像典型的“他为什么不直接用谷歌搜索或去 www.unicode.org 查一下?”问题,但对于这样一个简单的问题,在检查了两个来源后,我仍然无法回答。 我很确定这三种编码系统都支持
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符 最佳答案 没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。 编码之间的差异在于每个字符使用多少字节。 关于u
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符 最佳答案 没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。 编码之间的差异在于每个字符使用多少字节。 关于u
UTF-16 是一种双字节字符编码。交换两个字节的地址将产生 UTF-16BE 和 UTF-16LE。 但我发现在 Ubuntu gedit 文本编辑器中存在名称 UTF-16 编码,以及 UTF-1
我想将 UTF-16 字符串转换为 UTF-8。我通过 Unicode 发现了 ICU 库。我在转换时遇到问题,因为默认设置是 UTF-16。我试过使用转换器: UErrorCode myError
UTF-16 需要 2 个字节,UTF-8 需要 1 个字节。 而USB是面向8bit的,UTF-8更自然。 UTF-8 向后兼容 ASCII,而 UTF-16 则不然。 UTF-16 需要 2 个字
我对将 unicode 字符转换为十六进制值有点困惑。 我正在使用这个网站获取字符的十六进制值。 ( https://www.branah.com/unicode-converter ) 如果我输入“
我已经用UTF-8编码创建了一个文件,但是我不了解其在磁盘上占用的大小的规则。这是我的完整研究: 首先,我创建了一个带有印地语字母“'”的文件,Windows 7上的文件大小为 8个字节。 现在带有两
如何将WideString(或其他长字符串)转换为UTF-8中的字节数组? 最佳答案 这样的功能将满足您的需求: function UTF8Bytes(const s: UTF8String): TB
我有一个奇怪的验证程序,用于验证utf-8字符串是否是有效的主机名(PHP中的Zend Framework主机名valdiator)。它允许IDN(国际化域名)。它将比较每个子域与由其十六进制字节表示
在 utf16 和 utf32 中,一个字节的零是否意味着空?就像在 utf8 中一样,还是我们需要 2 个和 4 个字节的零来相应地在 utf16 和 utf32 中创建 null? 最佳答案 在
这是基于我的观察,对于 mysql,默认字符集 utf8 有点误导,它不支持完整的 Unicode,因为它无法存储四字节 UTF-8 编码的字符。它实际上是 utf8mb4 字符集,它是完整的 Uni
我只有处理 ASCII(单字节字符)的经验,并且阅读了很多关于人们如何以不同方式处理 Unicode 的帖子,这些帖子提出了他们自己的一系列问题。 此时我对 Unicode 的了解非常有限,我读到过U
我明白 std::codecvt在 C++11 中执行 UTF-16 和 UTF-8 之间的转换,并且 std::codecvt执行 UTF-32 和 UTF-8 之间的转换。是否可以在 UTF-8
我正在编写一个 HTTP 服务器并使用 trivial-utf-8:write-utf-8-bytes 来响应请求。我听说Babel就像trivial-utf-8但效率更高,所以我想试一试。搜索了一段
我正在设计一个新的 CMS,但想要设计它来满足我 future 的所有需求,比如多语言内容,所以我认为 Unicode (UTF-8) 是最好的解决方案 但是通过一些搜索我得到了这篇文章 http:/
例如,假设我在字符串中有以下 xml: 如果我尝试将其插入到带有 Xml 列的 SQL Server 2005 数据库表中,我将收到以下错误(我使用的是 EF 4.1,但我认为这无关紧要): XM
我正在使用 Python CSV 库读取两个 CSV 文件。 一种使用 UTF-8-BOM 编码,另一种使用 UTF-8 编码。在我的实践中,我发现使用“utf-8-sig”作为编码类型可以读取这两个
假设我的数据库设置如下以使用 utf-8(mysql 中的完整 4mb 版本) mysql_query("SET CHARACTER SET utf8mb4"); mysql_query("SET N
我是一名优秀的程序员,十分优秀!