个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章用Python实现大文本文件切割的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
在实际工作中，有些场景下，因为产品既有功能限制，不支持特大文件的直接处理，需要把大文件进行切割处理.
当然可以通过UltraEdit编辑工具，或者从网上下载一些文件切割器之类的。但这些要么手工操作太麻烦，要么不能满足自定义需求.
而且，对程序员来说，DIY一个轮子还是有必要的.
Python作为快速开发工具，其代码表达力强，开发效率高，因此用Python快速写一个，还是可行的.
需求描述:
输入：给定一个带列头的csv文件，或者txt文件，或者其他文本文件.
输出：指定单文件内部行数的一系列可区分小文件.
开发环境：Python 3.6 。
代码如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
# -*- coding: cp936 -*-
import
os
import
time
def
mkSubFile(lines,head,srcName,sub):
[des_filename, extname]
=
os.path.splitext(srcName)
filename
=
des_filename
+
'_'
+
str
(sub)
+
extname
print
(
'make file: %s'
%
filename)
fout
=
open
(filename,
'w'
)
try
:
fout.writelines([head])
fout.writelines(lines)
return
sub
+
1
finally
:
fout.close()
def
splitByLineCount(filename,count):
fin
=
open
(filename,
'r'
)
try
:
head
=
fin.readline()
buf
=
[]
sub
=
1
for
line
in
fin:
buf.append(line)
if
len
(buf)
=
=
count:
sub
=
mkSubFile(buf,head,filename,sub)
buf
=
[]
if
len
(buf) !
=
0
:
sub
=
mkSubFile(buf,head,filename,sub)
finally
:
fin.close()
if
__name__
=
=
'__main__'
:
begin
=
time.time()
splitByLineCount(
'盂县.csv'
,
600000
)
end
=
time.time()
print
(
'time is %d seconds '
%
(end
-
begin))
|
测试结果:
1.4GB的csv文件，13列数据，切分成23个小文件，耗时55秒.
以上这篇用Python实现大文本文件切割的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/zhang_qxian/article/details/62428492 。
最后此篇关于用Python实现大文本文件切割的方法的文章就讲到这里了,如果你想了解更多关于用Python实现大文本文件切割的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我有一个简单的 pyparsing 构造，用于提取日志消息的部分内容。看起来像这样 log_line = 时间戳 + task_info + Suppress(LineEnd()) 此结构可以很好地解
我想定义一个函数 scaryDict()，它接受一个参数(textfile)并返回 textfile 中的单词按字母顺序排列，基本上生成字典但不打印任何一个或两个字母的单词。 这是我目前所拥有的……不
我正在尝试弄清楚如何包含对外部数据文件(文本形式)的引用，我希望通过 Web Start (JNLP) 与我的应用程序一起分发该文件。筛选 JNLP 结构的文档，我发现您可以包含对 JAR、nativ
我尝试将 Java 程序从 Eclipse 导出到 .jar 文件，但遇到了问题。它运行良好，但由于某种原因它没有找到它应该从中获取数据的文本文件。如果有人能帮忙解决这个问题，我将非常感激。 最佳答案
在过去的 20 个小时里，我试图解决以下问题，所以在开始考虑跳出窗外之前我想，我最好在这里寻求帮助: I have a text file with following content: ID 1 T
今天我试图删除一个简单文本文件中的重复行，例如: input (list.txt): hello hello try output (list.txt): try 我尝试使用 Notepad++ 删除
我将一个文本文件添加到我的项目中，如下路径所示: Myproject/WebPages/stopwords.txt 图片: http://s7.postimg.org/w65vc3lx7/Untitl
所以我在我的程序上工作，现在我无法找到解决方案。我需要在 fext 文件中替换更多的符号，目前程序只将“TIT”替换为代码“*245$a”，如果我想用同样的方式替换其他字母，程序不会改变。有人知道如何
这是一个非常简单的问题，但无论我看哪里，我都会得到不同的答案(这是因为它在 c++0x 中已经改变还是将要改变？): 在 C++ 中，我如何从一个文本文件中读取两个数字并将它们输出到另一个文本文件中？
我有一个 C++ 项目应该添加 到每一行的开头和到每一行的末尾。这适用于普通英文文本，但我有一个中文文本文件，我想这样做，但它不起作用。我通常使用 .txt 文件，但为此我必须使用 .rtf 来保存中
所以我的驱动看起来像这样: #include "problem2.h" #include "problem1.h" #include "problem3.h" #include #include
我有一个包含字符串标识符的 ascii 数字文本文件(>50k 行)，可以将其视为数据 vector 的集合。根据用户输入，应用程序在运行时只需要这些数据 vector 之一。 据我所知，我有 3 个
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求提供代码的问题必须表现出对所解决问题的最低限度理解。包括尝试过的解决方案、为什么它们不起作用，以及预
这个问题在这里已经有了答案: 关闭 12 年前。 Possible Duplicate: Any decent text diff/merge engine for .NET ? 我有两个文本文件，
我正在尝试将对话选择器中的唤醒时间和 sleep 时间记录到这样的文本文件中，但是对方法 commitToFile2 的调用不会 append 文本文件“savedData.txt”。 我知道这段代码
我开发了一个 android webview 并尝试在单击 webview 中的链接时下载生成的数据:文本文件。 webView.setDownloadListener(new Downloa
我在一个文本文件中有 250 张图像/天 4000*3000 像素。 file '/home/user/camdata/nonseqdata.jpg' file '/home/user/camdata
我曾多次尝试将此配置文件转换为多维数组，这意味着我必须读取 config.txt 文件，然后必须将其转换为多维数组。我需要帮助或一些建议。 配置文件: id=www session.timeout=1
我正在尝试使用 sublime text 3 打开文件，我想用光标在具体行号处打开它。 我一直在查subl --help但我找不到混凝土线的选择。因此我只是使用:subl filename 有没有办法
我想在我的应用程序中快速显示一个大文本文件的内容，而不是将整个文件加载到内存中。 其他人是怎么做的？ Total Commander是一个很棒的工具，它有一个很棒的内部查看器可以做到这一点。无论文件有
我是一名优秀的程序员,十分优秀！