gpt4 book ai didi

python - os.open/read/write/close 的可接受使用?

转载 作者:太空狗 更新时间:2023-10-30 01:32:48 24 4
gpt4 key购买 nike

我打算经常从许多不同的文件中读取/写入小块信息。下面这个有点人为的例子显示了使用 os 操作直接作用于文件描述符时花费的时间大大减少。除了文件对象的便利性之外,我是否遗漏了任何缺点?

import os
import time

N = 10000
PATH = "/tmp/foo.test"

def testOpen():
for i in range(N):
with open(PATH, "wb") as fh:
fh.write("A")

for i in range(N):
with open(PATH, "rb") as fh:
s = fh.read()

def testOsOpen():
for i in range(N):
fd = os.open(PATH, os.O_CREAT | os.O_WRONLY)
try:
os.write(fd, "A")
finally:
os.close(fd)

for i in range(N):
fd = os.open(PATH, os.O_RDONLY)
try:
s = os.read(fd, 1)
finally:
os.close(fd)

if __name__ == "__main__":
for fn in testOpen, testOsOpen:
start = time.time()
fn()
print fn.func_name, "took", time.time() - start

样本运行:

$ python bench.py 
testOpen took 1.82302999496
testOsOpen took 0.436559915543

最佳答案

我会回答,这样它就不会永远保持打开状态 ;-)

真的没什么可说的:正如您已经注意到的,file 对象更方便。在某些情况下,它也更实用;例如,它有自己的缓冲层来加速面向行的文本操作(如 file_object.readline())(顺便说一句,这也是它速度较慢的原因之一。)和 file object 努力在所有平台上以相同的方式工作。

但是,如果您不需要/不想要它,那么使用较低级别的 & zippier os 文件描述符函数也没有任何问题。后者有很多,但并非所有平台都支持所有选项,并非所有平台都支持所有选项。当然,您有责任将自己限制在您关心的平台交叉点的操作和选项子集(os 中的所有函数通常都是如此,而不仅仅是它的文件描述符函数 -名称 os 强烈暗示它包含的内容可能依赖于操作系统。

关于 Python 2 和 3,差异是由于 Python 3 在所有平台上对“文本”和“二进制”模式进行了强烈区分。这是一个 Unicode 世界,如果不指定预期的编码,file 对象的“文本模式”就毫无意义。在 Python 3 中,如果文件以“文本模式”打开,则 file 对象读取方法返回一个 str 对象(一个 Unicode 字符串),但是一个 bytes 对象,如果处于“二进制模式”。对于写入方法也是如此。

因为 os 文件描述符方法没有编码的概念,它们只能在 Python 3 中使用类似字节的对象(不管是否,例如,在 Windows 上,文件描述符是用低级 os.open() O_BINARYO_TEXT 标志)。

实际上,在您给出的示例中,这仅意味着您必须更改

"A"

b"A"

请注意,您还可以在最新版本的 Python 2 中使用 b"..." 文字语法,尽管它在 Python 2 中仍然只是一个字符串文字。在 Python 3 中它表示不同类型的对象 (bytes),文件描述符函数仅限于写入和返回类似字节的对象。

但如果您使用的是“二进制数据”,则完全没有限制。如果您正在处理“文本数据”,它可能是(没有足够的关于您的细节的信息来猜测)。

关于python - os.open/read/write/close 的可接受使用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38556833/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com