gpt4 book ai didi

python - 批量加载程序 CSV 大小错误

转载 作者:太空狗 更新时间:2023-10-29 18:31:52 25 4
gpt4 key购买 nike

当导入包含大单元格的 CSV 文件时,Bulkloader 会引发以下错误:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

这是 csv 模块的常见问题,可以通过以下方式修复:

csv.field_size_limit(sys.maxint)

我怎样才能让 bulkloader 执行这个?

最佳答案

试试这个:

在 bulkloader.yaml 添加:

python_preamble:
- import: csv_fix
... # the rest of your imports

在 csv_fix.py 添加:

import csv, sys
csv.field_size_limit(sys.maxint)

关于python - 批量加载程序 CSV 大小错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5973363/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com