python - 如何从pandas面板数据中递归选择一组列？

Question

我有横截面数据，其中包括芝加哥地区的年度犯罪频率和房价。我想从数据集中递归地选择一组列，因为我想将它们用作训练回归模型的特征。有什么快速的方法可以做到这一点吗？有什么想法吗？

示例数据片段:

这是我的数据的屏幕截图:

这里是example data snippet在云端浏览数据。

我的尝试:

这是一个示例，我可以选择一组列作为训练 ML 模型的特征。

import urllib
import pandas as pd
# download data from cloud
u = "https://filebin.net/ml0sjn455gr8pvh3/crime_realEstate?t=7dkm15wq"
crime_realEstate = urllib.request.urlretrieve (u, "Ktest.csv")

# or just manually download data first and read
crime_realEstate = pd.read_csv('crime_realEstate.csv')
cols_2012 = crime_realEstate.filter(regex='_2012').columns
crime_realEstate['Area_Name']=crime_realEstate['Area_Name'].apply(lambda x: re.sub(' ', '_', str(x)))
regDF_2012 = crime_realEstate[cols_2012]
regDF_2012 = regDF_2012.assign(community_code=crime_finalDF['community_area'])
regDF_2012.dropna(inplace=True)
X_feats = regDF_2012.drop(['Avg_Price_2012'], axis=1)
y_label = regDF_2012['Avg_Price_2012'].values

基本上，我想在循环中对 regDF_2013、regDF_2014 等执行相同的操作，以便更好地操作并轻松访问数据。

有什么想法可以实现这一点吗？有什么想法吗？谢谢

Answer 1

融化你的数据框。这样，每个变量就有单独的列，并按 Area_name 进行索引。 :

import pandas as pd
crime_realEstate = pd.read_csv("Ktest.csv", delimiter="\t", index_col=0)
crime_melted = pd.melt(crime_realEstate, id_vars=['Area_Name', 'community_area'])
crime_melted["crime"] = crime_melted["variable"].apply(lambda x: x[:-5])
crime_melted["year"] = crime_melted["variable"].apply(lambda x: x[-4:])
crime_melted.drop(columns=["variable"], inplace=True)
crime_melted.set_index("Area_Name", inplace=True)

生成的数据框是(示例行):

                community_area        value                crime  year
Area_Name                                                              
Grand Boulevard            38.0   135.000000              assault  2012
Grand Boulevard            38.0   108.000000              assault  2013
Grand Boulevard            38.0   116.000000              assault  2014
Grand Boulevard            38.0    78.000000              assault  2015
Grand Boulevard            38.0   105.000000              assault  2016

可以使用loc访问索引:

crime_melted.loc["Grand Boulevard"]

机器学习需要每个变量的单独列:-)