python3大文件解压和基本操作-6ren

python3大文件解压和基本操作

转载作者：qq735679552 更新时间：2022-09-28 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python3大文件解压和基本操作由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

先说下：所谓的大文件并不是压缩文件有多大，几十兆的文件而是解压后几百兆。其中就遇到解压不成功的情况.、读小文件时成功，大文件时失败等。

 
    ? 
   
         def 
         unzip_to_txt_plus(zipfilename): 
        
         zfile  
         = 
         zipfile.ZipFile(zipfilename,  
         'r' 
         ) 
        
         for 
         filename  
         in 
         zfile.namelist(): 
        
         data  
         = 
         zfile.read(filename) 
        
         # data = data.decode('gbk').encode('utf-8') 
        
         data  
         = 
         data.decode( 
         'gbk' 
         ,  
         'ignore' 
         ).encode( 
         'utf-8' 
         ) 
        
         file 
         = 
         open 
         (filename,  
         'w+b' 
         ) 
        
         file 
         .write(data) 
        
         file 
         .close() 
        
         if 
         __name__  
         = 
         = 
         '__main__' 
         : 
        
         zipfilename  
         = 
         "E:\\share\\python_excel\\zip_to_database\\20171025.zip" 
        
         unzip_to_txt_plus(zipfilename)

注意参数：‘ignore' ，因为默认是严格编码，如果不加这个参数就会报错。因为该函数已经把文件编成utf-8 所以后面读取文件时成功，下面贴出读取大文件代码(忽略数据库相关) 。

 
    ? 
   
         # - coding: utf-8 - 
        
         import 
         csv 
        
         import 
         linecache 
        
         import 
         xlrd 
        
         import 
         MySQLdb 
        
         def 
         txt_todatabase(filename, linenum): 
        
         # with open(filename, "r", encoding="gbk") as csvfile: 
        
         #   Read = csv.reader(csvfile) 
        
         #   count =0 
        
         #   for i in Read: 
        
         #   #   print(i) 
        
         #      count += 1 
        
         #      # print('hello') 
        
         #   print(count) 
        
         count  
         = 
         linecache.getline(filename, linenum) 
        
         print 
         (count) 
        
         # with open("new20171028.csv", "w", newline="") as datacsv: 
        
         #   # dialect为打开csv文件的方式，默认是excel，delimiter="\t"参数指写入的时候的分隔符 
        
         #   csvwriter = csv.writer(datacsv, dialect=("excel")) 
        
         #   # csv文件插入一行数据，把下面列表中的每一项放入一个单元格（可以用循环插入多行） 
        
         #   csvwriter.writerow(["A", "B", "C", "D"]) 
        
         def 
         bigtxt_read(filename): 
        
         with  
         open 
         (filename,  
         'r' 
         , encoding 
         = 
         'utf-8' 
         ) as data: 
        
         count  
         = 
         0 
        
         while 
         1 
         : 
        
         count  
         + 
         = 
         1 
        
         line  
         = 
         data.readline() 
        
         if 
         1000000 
         = 
         = 
         count: 
        
         print 
         (line) 
        
         if 
         not 
         line: 
        
         break 
        
         print 
         (count) 
        
         if 
         __name__  
         = 
         = 
         '__main__' 
         : 
        
         filename  
         = 
         '20171025.txt' 
        
         txt_todatabase(filename,  
         1000000 
         ) 
        
         bigtxt_read(filename)

经过对比，发现两个速度基本一样快。两百万行的数据是没压力的.

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我.

原文链接：http://blog.csdn.net/u012762054/article/details/78367372 。

最后此篇关于python3大文件解压和基本操作的文章就讲到这里了,如果你想了解更多关于python3大文件解压和基本操作的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： spring boot ajax跨域的两种方式

文章推荐： Java LocalCache 本地缓存的实现实例

文章推荐： ByteArrayOutputStream简介和使用_动力节点Java学院整理

math - 将小数转换为混合基数(基本)
如何将十进制数字转换为mixed radix表示法？我猜想给定每个基数数组的输入和十进制数，它应该输出每列值的数组。最佳答案伪代码: bases = [24, 60, 60] input = 8
sql - 动态更新创建的临时表？基本？
我有 Table-A，其中有“x”行。 (对于这个例子有 8 行) 我通过使用游标创建了列数为“x”的Table-C。 (使其动态化；如果将更多行添加到 Table-A，则会在 Table-C 中创建
javascript - 访问对象(基本)
我有一个关于对象的(很可能是简单而愚蠢的)问题。我创建了实例“Person”的对象“jon”。当我打电话时 console.log(jon.name) 控制台会给我输出“jon”。到目前为止，一切都很
javascript - 基本 JavaScript : ()();
这个问题已经有答案了: 已关闭11 年前。 Possible Duplicate: javascript function vs. ( function() { … } ()); 抱歉，如果这太基础了
java - “基本”射弹轨迹
我正在尝试用 Java 重新创建射弹轨迹，但是，我遇到了一些问题。我看过很多解释公式之类的视频，但他们的方程中有一个目标，而我没有。我的意思是，他们有一个范围来计算子弹的下落，但我试图弄清楚子弹最终会
Rust 基本 while 循环
(希望如此)来自一个完整的 Rust 初学者的一个简单问题。我的循环有什么问题？ num 计算结果为“69”的速度相当快，但是一旦 num 设置为“69”，循环就永远不会退出。我肯定遗漏了一些明显的东
JavaScript 长度属性(基本)
我在 id="name"的元素上应用“.length”，但它计数为 29 而不是 14。我想知道我的错误在哪里？如果有人可以让我知道，那就太好了。谢谢! var name=document.getEl
Java - 基本，如何使自定义颜色正常工作？
我知道这很简单，但由于某种原因我无法让它工作。我正在尝试在 Java 中创建自定义颜色，但它似乎不起作用。 import java.awt.Color; Color deepGreen = new C
grep - 基本 grep
我有一个大文件，其中每一行都包含一个子字符串，例如 ABC123。如果我执行 grep ABC file.txt 或 grep ABC1 file.txt 我按预期返回这些行，但如果我执行 grep
java - “基本”属性类型不应优先
我想将以下实体映射转换为 Priority 对象。在 getter 上，当我将“Short”更改为“Priority”并遵循 this.priority 时，它会提示 'basic' 属性类型不应该是
python - 递归函数(基本)
我正在开发一个相当基本的函数，我发现很难弄清楚为什么我会得到我的输出。 def mystery(n): print(n) if n < 4: my
jquery - 实现同位素过滤器(基本)
我正在尝试对 WordPress 安装的新闻部分实现同位素过滤。我是 JavaScript/jQuery 的新手，正在尝试随时随地学习。我首先使用 Filters section of the Iso
c - 基本 While 循环不打印任何内容
已关闭。这个问题是 not reproducible or was caused by typos 。目前不接受答案。这个问题是由拼写错误或无法再重现的问题引起的。虽然类似的问题可能是 on-top
java - “基本”属性类型不应为持久性实体
我在另一个实体类中引用一个实体并收到此错误。下面是示例代码。我在 persistence.xml 中也有这些类。是什么导致了这个问题？我正在使用 Spring 数据 JPA 和 Hibernate。
ios - 基本 while 循环中索引超出范围
我正在解析 HTML 并重新格式化图像以使其更好地适应。由于某种原因，当我有多个图像需要解析时，我会超出范围，而且我一生都无法弄清楚为什么。当 imgArray.count >1 时，我将使用带有递
MySQL:子查询(基本)
我是 SQL 新手，正在尝试创建一个基本的子查询。我需要找出经理的平均年龄和实习生的平均年龄之间的差异。标题为一栏 - 经理或实习生年龄是一列，全部在同一个表中。我会使用两个子查询来做类似的事情:
BASH:基本 if then 和变量赋值
我习惯了 csh，所以不得不使用 bash 有点烦人。这段代码有什么问题？ if[$time > 0300] && [$time 和 300 && time < 900 )) then mod
php - 链式选择框 - 基本
我建立了这个页面:http://excelwrestling.com/poola.php即将到来的双重锦标赛。我的大部分数据都是从我的 mySQL 数据库中提取的，现在只有一些示例数据。我希望链接选
Javascript:基本 for 循环不起作用
是否有任何原因导致以下内容不起作用: for (i=0;i < someArray.length;i++) { if (someArray[i].indexOf("something") !=
Javascript 基本循环帮助 - 基本
我现在正在学习 Javascript，有一个问题一直困扰着我! 因此，我在这里所需要做的就是在此输入框中键入颜色，单击按钮并将标题更改为键入的颜色(仅当键入的颜色位于变量中指定的数组中时)。我的代码

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python3大文件解压和基本操作