python - 为什么 pandas block 的行为与实际数据帧不同？

Question

我想使用 pandas 处理本地硬盘上存在的 CSV 文件。我已经准备好处理代码，如果我在整个数据集上运行代码，它可以正常工作，不会出现任何错误。当相同的代码在 block 上运行时，就会出现问题。

我认为这些 block 可能具有不同的数据类型，因此尝试使用 type(chunk) 检查 block 的类型，它与 type(whole_dataframe) 相同。

我尝试过的:

whole_data = pd.read_csv('data.csv', sep=',', header=0)

whole_data['cuisines'] = whole_data.cuisines.apply(lambda x: ','+x)

这给了我预期的结果。但是当我尝试在 block 上运行相同的代码时:

for chunk in pd.read_csv('data.csv', sep=',', header=0, chunksize=1000):
    chunk['cuisines'] = chunk.cuisines.apply(lambda x: ','+x)

这给了我一个错误:TypeError: can only concatenate str (not "float") to str

我希望输出与在整个数据集上运行代码时得到的输出相同。

Answer 1

这有效吗:

for chunk in pd.read_csv('data.csv', sep=',', header=0, chunksize=1000):
    chunk['cuisines'] = chunk.cuisines.apply(lambda x: ','+str(x))

更好:

for chunk in pd.read_csv('data.csv', sep=',', header=0, chunksize=1000):
    chunk['cuisines'] = ',' + chunk.cuisines.astype(str).str