python - 使用 GAE 批量 uploader 脚本，如何处理 CSV 中的空值？

Question

我已按照本文档中的建议设置了 app.yaml 和 data_uploader 文件。我的 CSV 文件有一些空值(我导出的电子表格有一些空单元格)。

当我运行脚本时，我在日志文件中收到以下错误:[错误] WorkerThread-0 中出现错误:值不应为空；收到[]。

我的猜测是，这是因为 csv 文件中的某些值是空的，如何确保空值要么作为 '' 导入到数据存储中，要么根本不导入(模型属性都是可选的) )。

谢谢大卫。

Answer 1

您可能应该自定义 bulkloader.yaml，在属性映射部分提供正确的指令。

检查模型种类属性上出现问题的 import_transform 元素是否已设置，并尝试使用 none_if_empty 指令。

- property: fooproperty
  external_name: fooproperty
  import_transform: transform.none_if_empty(foopropertytype)

这就是 none_if_empty是:

def none_if_empty(fn):
  """A wrapper for a value to return None if it's empty. Useful on import.

  Can be used in config files (e.g. "transform.none_if_empty(int)" or
  as a decorator.

  Args:
    fn: Single argument transform function.

  Returns:
    Wrapped function.
  """

  def wrapper(value):
    if value == '' or value is None:
      return None
    return fn(value)

  return wrapper

Afaik，bulkloader 生成了bulkloader.yaml 文件，使用生产数据存储统计信息推断正确的配置；只需检查所做的假设是否正确。