- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有一个 csv 文件的文件夹,我需要对其进行转换和操作/清理,输出一个数据帧,然后我可以继续使用它。我想要一个我拥有的每个 CSV 文件都有一个唯一标题的数据框。我编写了代码,以便能够按照我想要的方式操作其中一个 csv 文件,最后有一个干净的数据框,但我在尝试迭代文件夹并转换所有文件时遇到了麻烦csv 文件,每个 csv 以一个数据帧结尾。
这是我一直在使用的代码:
import pandas as pd
import numpy as np
import os
from os import listdir
import glob
import win32com.client
filepath = 'C:/Users/me/BMI'
xl = win32com.client.gencache.EnsureDispatch('Excel.Application')
for f in glob.glob(filepath+'/*.xls'):
fullname = os.path.abspath(f)
xl.Workbooks.Open(fullname)
xl.ActiveWorkbook.SaveAs(Filename=fullname.replace('.xls','.csv'),
FileFormat=win32com.client.constants.xlCSVMSDOS,
CreateBackup=False)
xl.ActiveWorkbook.Close(SaveChanges=False)
os.listdir('C:/Users/me/BMI')
def find_csv_filenames( path_to_dir, suffix=".csv" ):
filenames = listdir(path_to_dir)
return [ filename for filename in filenames if filename.endswith( suffix ) ]
filenames = list(find_csv_filenames(filepath))
for i in filenaames:
df = pd.read_csv(filepath+'/'+i)
del df['Unnamed: 0']
# Extract by rows - create list of rows that are blank
nul_rows = list(df[df.isnull().all(axis=1)].index)
list_of_dataframes = []
list_of_dataframes.append(df.iloc[:nul_rows[0] - 1,:])
for i in range(len(nul_rows) - 1):
list_of_dataframes.append(df.iloc[nul_rows[i]+1:nul_rows[i],:])
list_of_dataframes.append(df.iloc[nul_rows[4] - 1::])
# Remove null columns
cleaned_tables = []
for _df in list_of_dataframes:
cleaned_tables.append(_df.dropna(axis=1, how='all'))
# cleaned_tables is a list of the dataframes
print(cleaned_tables[0])
# drop second row of data frame (subtitle)
df = df.drop(df.index[0])
#set up headers in row 1
df=df.set_value(1, df.columns[0], 'brands')
# change column names to proper headers (brand as first column, years of data following)
for i in list(range(len(df.columns))):
df = df.rename(columns={df.columns[i]: df.iloc[0][df.columns[i]]})
#get rid of double headers (row 1)
df = df.drop(df.index[0])
最佳答案
如果您有转换单个 .csv 的代码,并且希望对目录中的所有 .csv 执行相同的操作,并最终为每个 .csv 提供唯一的 DataFrame,您可以执行类似的操作吗?
import pandas as pd
import numpy as np
import os
filepath = r'C:\Users\me\BMI'
df_list = []
for file in os.listdir():
if file.endswith('.csv'):
temp_df = pd.read_csv(os.path.join(filepath, file), encoding='utf-8')
# transformation and clean-up steps here...
# ...
df_list.append(temp_df)
每个 temp_df
都将存储在 df_list
中。
您可以将它们连接到最后的一个最终 DataFrame 中,如下所示:
one_df = pd.concat(df_list, ignore_index=True)
如果您在将文件读入数据帧时遇到问题,请尝试定义分隔符 sep
(如果您的数据不是逗号分隔的)和 encoding
(如果您的 csv 文件)都以特定的编码方式进行编码。例如:
pd.read_csv(..., sep='\t', encoding='cp1252')
关于python - 以同样的方式转换 CSV 文件的文件夹,然后使用 python 输出多个数据帧,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44593675/
我一直在阅读有关汇编函数的内容,但对于是使用进入和退出还是仅使用调用/返回指令来快速执行,我感到很困惑。一种方式快而另一种方式更小吗?例如,在不内联函数的情况下,在汇编中执行此操作的最快(stdcal
我正在处理一个元组列表,如下所示: res = [('stori', 'JJ'), ('man', 'NN'), ('unnatur', 'JJ'), ('feel', 'NN'), ('pig',
最近我一直在做很多网络或 IO 绑定(bind)操作,使用线程有助于加快代码速度。我注意到我一直在一遍又一遍地编写这样的代码: threads = [] for machine, user, data
假设我有一个名为 user_stats 的资源,其中包含用户拥有的帖子、评论、喜欢和关注者的数量。是否有一种 RESTful 方式只询问该统计数据的一部分(即,对于 user_stats/3,请告诉我
我有一个简单的 api,它的工作原理是这样的: 用户创建一个请求 ( POST /requests ) 另一个用户检索所有请求 ( GET /requests ) 然后向请求添加报价 ( POST /
考虑以下 CDK Python 中的示例(对于这个问题,不需要 AWS 知识,这应该对基本上任何构建器模式都有效,我只是在这个示例中使用 CDK,因为我使用这个库遇到了这个问题。): from aws
Scala 中管理对象池的首选方法是什么? 我需要单线程创建和删除大规模对象(不需要同步)。在 C++ 中,我使用了静态对象数组。 在 Scala 中处理它的惯用和有效方法是什么? 最佳答案 我会把它
我有一个带有一些内置方法的类。这是该类的抽象示例: class Foo: def __init__(self): self.a = 0 self.b = 0
返回和检查方法执行的 Pythonic 方式 我目前在 python 代码中使用 golang 编码风格,决定移动 pythonic 方式 例子: import sys from typing imp
我正在开发一个 RESTful API。其中一个 URL 允许调用者通过 id 请求特定人员的记录。 返回该 id 不存在的记录的常规值是什么?服务器是否应该发回一个空对象或者一个 404,或者其他什
我正在使用 pathlib.Path() 检查文件是否存在,并使用 rasterio 将其作为图像打开. filename = pathlib.Path("./my_file-name.tif") 但
我正在寻找一种 Pythonic 方式来从列表和字典创建嵌套字典。以下两个语句产生相同的结果: a = [3, 4] b = {'a': 1, 'b': 2} c = dict(zip(b, a))
我有一个正在操裁剪理设备的脚本。设备有时会发生物理故障,当它发生时,我想重置设备并继续执行脚本。我有这个: while True: do_device_control() device
做组合别名的最pythonic和正确的方法是什么? 这是一个假设的场景: class House: def cleanup(self, arg1, arg2, kwarg1=False):
我正在开发一个小型客户端服务器程序来收集订单。我想以“REST(ful)方式”来做到这一点。 我想做的是: 收集所有订单行(产品和数量)并将完整订单发送到服务器 目前我看到有两种选择: 将每个订单行发
我知道在 Groovy 中您可以使用字符串调用类/对象上的方法。例如: Foo."get"(1) /* or */ String meth = "get" Foo."$meth"(1) 有没有办法
在 ECMAScript6 中,您可以使用扩展运算符来解构这样的对象 const {a, ...rest} = obj; 它将 obj 浅拷贝到 rest,不带属性 a。 有没有一种干净的方法可以在
我有几个函数返回数字或None。我希望我的包装函数返回第一个不是 None 的结果。除了下面的方法之外,还有其他方法吗? def func1(): return None def func2(
假设我想设计一个 REST api 来讨论歌曲、专辑和艺术家(实际上我就是这样做的,就像我之前的 1312414 个人一样)。 歌曲资源始终与其所属专辑相关联。相反,专辑资源与其包含的所有歌曲相关联。
这是我认为必须经常出现的问题,但我一直无法找到一个好的解决方案。假设我有一个函数,它可以作为参数传递一个开放资源(如文件或数据库连接对象),或者需要自己创建一个。如果函数需要自己打开文件,最佳实践通常
我是一名优秀的程序员,十分优秀!