google-app-engine - 子类化 db.TextProperty 以将 python dict 存储为 JSON 并将默认编码设置为 ASCII 以外的任何编码

Question

使用 Google App Engine (python SDK)，我创建了一个自定义 JSONProperty() 作为 db.TextProperty() 的子类。我的目标是将 python dict 动态存储为 JSON 并轻松检索它。我按照通过 Google 找到的各种示例进行操作，设置自定义属性类和方法非常简单。

但是，我的一些字典值(字符串)是用 utf-8 编码的。将模型保存到数据存储中时，出现了可怕的 Unicode 错误(数据存储文本属性的默认编码为 ASCII)。子类化 db.BlobProperty 没有解决问题。

基本上，我的代码执行以下操作:将资源实体存储到数据存储区(将 URL 作为 StringProperty 并将 POST/GET 有效负载作为 JSONProperty 存储在字典中)，稍后获取它们(不包括代码)。我选择不使用 pickle 来存储有效载荷，因为我是一个 JSON 狂热者并且没有使用存储对象。

自定义 JSON 属性:

class JSONProperty(db.TextProperty):
    def get_value_for_datastore(self, model_instance):
        value = super(JSONProperty, self).get_value_for_datastore(model_instance)
        return json.dumps(value)

    def make_value_from_datastore(self, value):
        if value is None:
            return {}
        if isinstance(value, basestring):
            return json.loads(value)
        return value

将模型放入数据存储:

res = Resource()
res.init_payloads()
res.url = "http://www.somesite.com/someform/"
res.param = { 'name': "SomeField", 'default': u"éàôfoobarç" }
res.put()

这将抛出与 ASCII 编码相关的 UnicodeDecodeError。也许值得注意的是，我只在生产服务器上(每次)收到此错误。我在开发中使用 python 2.5.2。

Traceback (most recent call last): File "/base/data/home/apps/delpythian/1.350065314722833389/core/handlers/ResetHandler.py", line 68, in _res_one return res_one.put() File "/base/python_runtime/python_lib/versions/1/google/appengine/ext/db/init.py", line 984, in put return datastore.Put(self._entity, config=config) File "/base/python_runtime/python_lib/versions/1/google/appengine/api/datastore.py", line 455, in Put return _GetConnection().async_put(config, entities, extra_hook).get_result() File "/base/python_runtime/python_lib/versions/1/google/appengine/datastore/datastore_rpc.py", line 1219, in async_put for pbs in pbsgen: File "/base/python_runtime/python_lib/versions/1/google/appengine/datastore/datastore_rpc.py", line 1070, in __generate_pb_lists pb = value_to_pb(value) File "/base/python_runtime/python_lib/versions/1/google/appengine/api/datastore.py", line 239, in entity_to_pb return entity._ToPb() File "/base/python_runtime/python_lib/versions/1/google/appengine/api/datastore.py", line 841, in _ToPb properties = datastore_types.ToPropertyPb(name, values) File "/base/python_runtime/python_lib/versions/1/google/appengine/api/datastore_types.py", line 1672, in ToPropertyPb pbvalue = pack_prop(name, v, pb.mutable_value()) File "/base/python_runtime/python_lib/versions/1/google/appengine/api/datastore_types.py", line 1485, in PackString pbvalue.set_stringvalue(unicode(value).encode('utf-8')) UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 32: ordinal not in range(128)

我的问题如下:有没有办法子类化 db.TextProperty() 类并设置/强制执行自定义编码？还是我做错了什么？我尽量避免使用 str() 并遵循 “尽早解码，Unicode 无处不在，晚编码” 规则。

更新:添加了代码和堆栈跟踪。

Answer 1

这是一个将 unicode 字符串从字典移动到序列化 JSON 字符串到 TextProperty 的最小示例:

class Thing(db.Model):
  json = db.TextProperty()

class MainHandler(webapp.RequestHandler):
  def get(self):
    data = {'word': u"r\xe9sum\xe9"}
    json = simplejson.dumps(data, ensure_ascii=False)
    Thing(json=json).put()

这对我在开发和生产中都适用。