- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我在处理一些循环遍历一堆 .csvs 的代码时遇到问题,如果其中没有任何内容(即以 \n
换行符结尾的文件),则删除最后一行
我的代码在所有文件上都能成功运行,除了一个文件,它是目录中最大的文件,大小为 11gb。第二大文件是 4.5gb。
它失败的行很简单:
with open(path_str,"r+") as my_file:
我收到以下消息:
IOError: [Errno 22] invalid mode ('r+') or filename: 'F:\\Shapefiles\\ab_premium\\processed_csvs\\a.csv'
我使用 os.file.join
创建的 path_str
以避免错误,我尝试将文件重命名为 a.csv
只是为了确保文件名没有任何异常。这没有区别。
更奇怪的是,该文件很高兴以 r 模式打开。 IE。以下代码工作正常:
with open(path_str,"r") as my_file:
我尝试在读取模式下浏览文件,很高兴读取文件开头、结尾和中间的字符。
有谁知道 Python 可以处理的文件大小有任何限制,或者为什么我可能会收到此错误?我使用的是 Windows 7 64 位系统并且有 16GB 的内存。
最佳答案
Python 2 中的默认 I/O 堆栈位于 CRT FILE
流之上。在 Windows 上,它们构建在使用文件描述符的 POSIX 仿真 API 之上(它依次位于用户模式 Windows API 之上,而后者又位于内核模式 I/O 系统之上,而内核模式 I/O 系统本身就是一个深层系统基于 I/O 请求数据包;硬件在某处……)。在 POSIX 层,用 _O_RDWR | 打开一个文件_O_TEXT
模式(如“r+”),需要查找到文件末尾以删除 CTRL+Z(如果存在)。这是来自 CRT 的 fopen
的引述文档:
Open in text (translated) mode. In this mode, CTRL+Z is interpreted as an end-of-file character on input. In files opened for reading/writing with "a+", fopen checks for a CTRL+Z at the end of the file and removes it, if possible. This is done because using fseek and ftell to move within a file that ends with a CTRL+Z, may cause fseek to behave improperly near the end of the file.
这里的问题是上面的检查调用了 32 位的 _lseek
(请记住,sizeof long
在 64 位 Windows 上是 4 个字节,这与大多数其他 64 位平台不同),而不是 _lseeki64
。显然,对于 11 GB 的文件,这会失败。具体来说,SetFilePointer
失败,因为它被调用时使用 lpDistanceToMoveHigh
的 NULL
值。这是后一个调用的返回值和 LastErrorValue
:
0:000> kc 2
Call Site
KERNELBASE!SetFilePointer
MSVCR90!lseek_nolock
0:000> r rax
rax=00000000ffffffff
0:000> dt _TEB @$teb LastErrorValue
ntdll!_TEB
+0x068 LastErrorValue : 0x57
错误代码 0x57 是 ERROR_INVALID_PARAMETER
.这是指 lpDistanceToMoveHigh
在尝试从大文件末尾开始搜索时为 NULL
。
要解决 CRT FILE
流的这个问题,我建议使用 io.open
打开文件。反而。这是 Python 3 的 I/O 堆栈的反向移植实现。它始终以原始二进制模式 (_O_BINARY
) 打开文件,并在原始层之上实现自己的缓冲和文本模式层。
>>> import io
>>> f = io.open('a.csv', 'r+')
>>> f
<_io.TextIOWrapper name='a.csv' encoding='cp1252'>
>>> f.buffer
<_io.BufferedRandom name='a.csv'>
>>> f.buffer.raw
<_io.FileIO name='a.csv' mode='rb+'>
>>> f.seek(0, os.SEEK_END)
11811160064L
关于Python 无法在 r+ 模式下打开 11gb csv 但在 r 模式下打开,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29729082/
对此感到疯狂,真的缺少一些东西。 我有webpack 4.6.0,webpack-cli ^ 2.1.2,所以是最新的。 在文档(https://webpack.js.org/concepts/mod
object Host "os.google.com" { import "windows" address = "linux.google.com" groups = ["linux"] } obj
每当我安装我的应用程序时,我都可以将数据库从 Assets 文件夹复制到 /data/data/packagename/databases/ .到此为止,应用程序工作得很好。 但 10 或 15 秒后
我在 cc 模式缓冲区中使用 hideshow.el 来折叠我不查看的文件部分。 如果能够在 XML 文档中做到这一点就好了。我使用 emacs 22.2.1 和内置的 sgml-mode 进行 xm
已结束。此问题不符合 Stack Overflow guidelines .它目前不接受答案。 我们不允许提出有关书籍、工具、软件库等方面的建议的问题。您可以编辑问题,以便用事实和引用来回答它。 关闭
根据java: public Scanner useDelimiter(String pattern) Sets this scanner's delimiting pattern to a patt
我读过一些关于 PRG 模式以及它如何防止用户重新提交表单的文章。比如this post有一张不错的图: 我能理解为什么在收到 2xx 后用户刷新页面时不会发生表单提交。但我仍然想知道: (1) 如果
看看下面的图片,您可能会清楚地看到这一点。 那么如何在带有其他一些 View 的简单屏幕中实现没有任何弹出/对话框/模式的微调器日期选择器? 我在整个网络上进行了谷歌搜索,但没有找到与之相关的任何合适
我不知道该怎么做,我一直遇到问题。 以下是代码: rows = int(input()) for i in range(1,rows): for j in range(1,i+1):
我想为重写创建一个正则表达式。 将所有请求重写为 index.php(不需要匹配),它不是以/api 开头,或者不是以('.html',或'.js'或'.css'或'.png'结束) 我的例子还是这样
MVC模式代表 Model-View-Controller(模型-视图-控制器) 模式 MVC模式用于应用程序的分层开发 Model(模型) - 模型代表一个存取数据的对象或 JAVA PO
我想为组织模式创建一个 RDF 模式世界。您可能知道,组织模式文档基于层次结构大纲,其中标题是主要的分组实体。 * March auxiliary :PROPERTIES: :HLEVEL: 1 :E
我正在编写一个可以从文件中读取 JSON 数据的软件。该文件包含“person”——一个值为对象数组的对象。我打算使用 JSON 模式验证库来验证内容,而不是自己编写代码。符合代表以下数据的 JSON
假设我有 4 张 table 人 公司 团体 和 账单 现在bills/persons和bills/companys和bills/groups之间是多对多的关系。 我看到了 4 种可能的 sql 模式
假设您有这样的文档: doc1: id:1 text: ... references: Journal1, 2013, pag 123 references: Journal2, 2014,
我有这个架构。它检查评论,目前工作正常。 var schema = { id: '', type: 'object', additionalProperties: false, pro
这可能很简单,但有人可以解释为什么以下模式匹配不明智吗?它说其他规则,例如1, 0, _ 永远不会匹配。 let matchTest(n : int) = let ran = new Rand
我有以下选择序列作为 XML 模式的一部分。理想情况下,我想要一个序列: 来自 my:namespace 的元素必须严格解析。 来自任何其他命名空间的元素,不包括 ##targetNamespace和
我希望编写一个 json 模式来涵盖这个(简化的)示例 { "errorMessage": "", "nbRunningQueries": 0, "isError": Fals
首先,我是 f# 的新手,所以也许答案很明显,但我没有看到。所以我有一些带有 id 和值的元组。我知道我正在寻找的 id,我想从我传入的三个元组中选择正确的元组。我打算用两个 match 语句来做到这
我是一名优秀的程序员,十分优秀!