gpt4 book ai didi

python批量读取txt文件为DataFrame的方法

转载 作者:qq735679552 更新时间:2022-09-28 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python批量读取txt文件为DataFrame的方法由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作。比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为dataframe格式呢?

python批量读取txt文件为DataFrame的方法

首先我们要用到glob模块,这个python内置的模块可以说是非常的好用.

?
1
glob.glob( '*.txt' )

得到如下结果:

python批量读取txt文件为DataFrame的方法

all.txt是我最后得到的结果文件。可以见返回的是一个包含txt文件名称的列表,当然如果你的文件夹下面只有txt文件,那么你用os.listdir()可以得到一个一样的列表 。

然后读取的时候只要注意txt文件的编码格式(可以用notepad++打开记事本查看)和间隔符的形式就好了,完整的代码如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import os
import pandas
import codecs
import glob
import pandas as pd
os.getcwd()
os.chdir( 'd:\aaaasxq\python study\data preprocessing' )
def txtcombine():
 
  files = glob.glob( '*.txt' )
 
  all = codecs. open ( 'all.txt' , 'a' )
 
  for filename in flist:
  print (filename)
  fopen = codecs. open (filename, 'r' ,encoding = 'utf-8' )
  lines = []
  lines = fopen.readlines()
  fopen.close()
  i = 0
  for line in lines:
   for x in line:
   all .write(x)
  #读取为dataframe格式
  all1 = pd.read_csv( 'all.txt' ,sep = ' ' ,encoding = 'gb2312' )
  #保存为csv格式
  all1.to_csv( 'all.csv' ,encoding = 'gb2312' )
 
if __name__ = = '__main__' :
  txtcombine()

以上这篇python批量读取txt文件为dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我.

原文链接:https://blog.csdn.net/m0_37324740/article/details/78040749 。

最后此篇关于python批量读取txt文件为DataFrame的方法的文章就讲到这里了,如果你想了解更多关于python批量读取txt文件为DataFrame的方法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com