python - 有没有类似 DatastoreOutputWriter 的东西？

Question

如何将 MapReduce 结果写回数据存储？我的第一个想法是“DatastoreOutputWriter”，但显然没有这样的东西。

澄清:问题不在于修改/保存实体。相反，我想处理它们，并将处理后的结果(不同类型的实体)存储在数据存储区中。

示例:时常统计用户数量，并将结果保存到包含日期和计数的新实体中。

Answer 1

InputReader 的目的通常是将作业拆分为每个实体的任务。您通常编写处理程序来处理传递给适当实体的每个任务。

您实际上并不需要 DatastoreOutputWriter，因为您可以简单地在任务中写入实体。 mapreduce 库有一些工具可以通过使用 async Puts 来提高效率。推荐使用它们，但不使用它们的代码仍然有效。这是一个非常简单的处理程序，它进行了一些小的修改并在映射器阶段将实体写回:

def addNewAttribute(entity, *args, **kwargs):
    try:
        if not entity.get("newattribute"):
            entity["newattribute"] = False
            yield op.db.Put(entity) # save the entity back to datastore
            yield op.counters.Increment("touched") # use mapreduce counter to track operations
    except: 
        yield op.counters.Increment("touchFail")