python - 在 Pandas DataFrame 中保留 None(尽管有 astype() 和 to_parquet())

Question

如何强制 Pandas DataFrame 保留 None值，即使使用 astype() ?

细节

自 pd.DataFrame构造函数不提供化合物 dtype参数，我使用以下函数修复类型( to_parquet() 所需):

def _typed_dataframe(data: list) -> pd.DataFrame:
    typing = {
        'name': str,
        'value': np.float64,
        'info': str,
        'scale': np.int8,
    }    
    result = pd.DataFrame(data)
    for label in result.keys():
        result[label] = result[label].astype(typing[label])
    return result

不幸的是， result[info] = result[info].astype(str)全部转换 None info 中的值至 "None"字符串。我怎样才能禁止这个，即保留 None值(value)观？

更准确地说: None data 中的值成为 np.nan在 result DataFrame，变成 "nan"来自 astype(str) ，变成 "None"从 result 提取时.

Answer 1

按照@frosty 的评论，我们可以使用替代方法

    typing = {
        'name': str,
        'value': np.float64,
        'info': pd.StringDtype(),
        'scale': np.int8,
    }    

但是，这需要 pandas ~= 1.0.0 .


作为更好的解决方案，您可以更换

for label in result.keys():
    result[label] = result[label].astype(typing[label])

经过

result.astype(schema)

不幸的是， result.astype(typing)没有效果，因为它不能处理复合类型。