python - 如何迭代 Pandas 数据框的集合？

Question

我有很多 SAS 数据集要导出到 pandas 数据框。 saspy 模块有一个 sd2fd为此目的的方法。此 SO post 描述了我遇到的问题其中包含解释为什么字符串在执行代码时不能被替换和用作变量名的链接。

我正在定义 mk_df 函数来调用 sd2fd 方法，然后使用字典来传递键/值对。

import os
import glob
from pathlib import Path
import saspy
import pandas as pd

p = Path('/home/trb/sasdata/export_2_df')
sas_datasets = []
df_names     = []
pya_tables   = []
sep = '.'

for i in p.rglob('*.sas7bdat'):
    sas_datasets.append(i.name.split(sep,1)[0])
    df_names.append('df_' + i.name.split(sep,1)[0])

sd_2_df_dict = dict(zip(sas_datasets,df_names))

sas = saspy.SASsession(results='HTML')

返回:

Using SAS Config named: default
SAS Connection established. Subprocess id is 27752

代码继续...

# tell sas where to find the dataset
sas_code='''
   libname out_df "~/sasdata/export_2_df/";
'''
libref = sas.submit(sas_code)

# define the mk_df function
def mk_df(sas_name, df_name):
    df_name = sas.sd2df(table = sas_name, libref = 'out_df', method='CSV')
    return df_name

# call the mk_df function
for key, value in sd_2_df_dict.items():
    print(key, value)
    mk_df(key, value)

返回:

cars df_cars
failure df_failure
airline df_airline
prdsale df_prdsale
retail df_retail
stocks df_stocks

但是，没有创建任何数据框。

print(df_cars)

NameError                                 Traceback (most recent call last)
<ipython-input-18-aa21e263bad6> in <module>()
----> 1 print(df_cars)

NameError: name 'df_cars' is not defined

我验证了 mk_df 函数有效:

mk_df('stocks', 'df_stocks')

    Stock   Date    Open    High    Low     Close   Volume  AdjClose
0   IBM     2005-12-01  89.15   89.92   81.56   82.20   5976252.0   81.37
1   IBM     2005-11-01  81.85   89.94   80.64   88.90   5556471.0   88.01
2   IBM     2005-10-03  80.22   84.60   78.70   81.88   7019666.0   80.86
3   IBM     2005-09-01  80.16   82.11   76.93   80.22   5772280.0   79.22
4   IBM     2005-08-01  83.00   84.20   79.87   80.62   4801386.0   79.62

打印 key 和 value 返回字符串:

print(key, value)
   stocks df_stocks

如何重复调用 mk_df 函数？或者我应该考虑其他方法吗？

@Python R SAS，这是一个很有帮助的观察结果。所以我更改了 mk_df 函数以包含更多信息并尝试显式命名输出 DataFrame。

def mk_df(sas_name, out_df):
    out_df = sas.sd2df(table = sas_name, libref = 'out_df', method='CSV')
    out_df.df_name = out_df
    name =[x for x in globals() if globals()[x] is out_df]
    print("Dataframe Name is: ",  name, "Type: ", type(out_df))
    return out_df

函数的调用现在是:

j = 0

for key, value in sd_2_df_dict.items():
     mk_df(key, value).name=df_names[j]
     j += 1

返回:

/opt/anaconda3/lib/python3.7/site-packages/ipykernel_launcher.py:3: UserWarning: Pandas doesn't allow columns to be created via a new attribute name - see https://pandas.pydata.org/pandas-docs/stable/indexing.html#attribute-access
  This is separate from the ipykernel package so we can avoid doing imports until

Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>

Answer 1

我没有运行这段代码，所以我的回答可能不正确。我看到的是您的 mk_df 函数返回从 SAS 数据集创建的数据框。但是，当您调用该函数时，您并没有将它分配给任何东西。所以 df_name 在 mk_df 函数之外是不可用的。

根据您的编辑进行更改

关于这段代码 - name =[x for x in globals() if globals()[x] is out_df]:你没有任何名为 df_cars、df_failure 的变量等在任何地方创建。因此，在 globals() 字典中没有任何东西可以让你命中，因此 x 总是空白 - 这在你的输出中体现出来。

我认为您要做的是通过迭代中变量“值”中包含的名称创建一个数据框。因此，如果值为 df_cars，则您正在尝试创建一个名为 df_cars 的数据框。

问题是，当您在方法内执行类似 df_name = 的操作时，它会重新绑定(bind)原始引用，因此引用会丢失。有关详细信息，请参阅此出色的讨论。 How do I pass a variable by reference?

此外，我认为您混淆了 df_name 和 out_df，或者我没有完全理解您的意图。

执行此操作的一种方法是使用 exec 语句，出于各种原因通常不推荐使用该语句:

def mk_df(sas_name):
    this_df = sas.sd2df(table = sas_name, libref = 'out_df', method='CSV')
    this_df.name = "df_" + sas_name
    return this_df

for key, value in sd_2_df_dict.items():
     exec(value + "= mk_df(" + key + ")")

但我认为您最好只通过字典维护不同的数据帧。即

dfs = dict()
for key, value in sd_2_df_dict.items():
     dfs[key] = mk_df(key)