java - 使用 java google app enginebulkloader.yaml 通过 __key__ 上的 export_transform 上传数据将 ID/NAME 列从 id(长)更改为 name(字符串)

Question

我认为我的问题类似于:BulkLoader -export_transform或 https://stackoverflow.com/questions/3220911/gae-datastore-export-transform

基本上，我使用批量加载器来备份和恢复我创建的实体。为了测试，我使用“游戏”类型并将其输出到名为 game.csv 的 csv 文件。

这是我经历的过程:

1. 使用以下方法将游戏类型下载到 game.csv:

   appcfg.py download_data --config_file=bulkloader.yaml --kind=Game --filename=game.csv --application=MyAppId --url= http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

2. 删除所有游戏实体。然后，我检查了应用程序的管理门户数据存储查看器选项卡，发现我的数据存储中没有更多实体。

3. 使用创建的 game.csv 上传游戏类型(命令与 download_data 相同，但使用 upload_data):

   appcfg.py upload_data --config_file=bulkloader.yaml --kind=Game --filename=game.csv --application=MyAppId --url= http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

4. 运行一个按“名称”检索实体的 servlet(这是下面 Game.java 中显示的属性)。

出现以下错误:

Uncaught exception from servlet
java.lang.IllegalStateException: Loaded Entity has name but com.example.app.model.Game has no String @Id
    at com.googlecode.objectify.impl.ConcreteEntityMetadata.setKey(ConcreteEntityMetadata.java:343)
    at com.googlecode.objectify.impl.ConcreteEntityMetadata.toObject(ConcreteEntityMetadata.java:210)
    at com.googlecode.objectify.impl.QueryImpl$ToObjectIterator.translate(QueryImpl.java:640)
    at com.googlecode.objectify.impl.QueryImpl$ToObjectIterator.translate(QueryImpl.java:629)
    at com.googlecode.objectify.util.TranslatingIterator.next(TranslatingIterator.java:35)
    at com.googlecode.objectify.impl.QueryImpl.list(QueryImpl.java:470)

我怀疑这与我的 bulkloader.yaml 文件的 __key__ 属性配置不正确有关。所以我将其发布在下面:

- import: google.appengine.ext.bulkload.transform
- import: google.appengine.ext.bulkload.bulkloader_wizard
- import: google.appengine.ext.db
- import: google.appengine.api.datastore
- import: google.appengine.api.users

transformers:

- kind: Game
  connector: csv
  connector_options:
    # TODO: Add connector options here--these are specific to each connector.
  property_map:
    - property: __key__
      external_name: key
      export_transform: transform.key_id_or_name_as_string

    - property: __scatter__
      #external_name: __scatter__
      # Type: ShortBlob Stats: 56 properties of this type in this kind.

    - property: genre
      external_name: genre
      # Type: String Stats: 6639 properties of this type in this kind.

    - property: name
      external_name: name
      # Type: String Stats: 6639 properties of this type in this kind.

    - property: releasedate
      external_name: releasedate
      # Type: Date/Time Stats: 6548 properties of this type in this kind.
      import_transform: transform.import_date_time('%Y-%m-%dT%H:%M:%S')
      export_transform: transform.export_date_time('%Y-%m-%dT%H:%M:%S')

在删除和上传数据之前，“游戏” 类型(在应用管理门户的数据存储查看器选项卡中)会显示 ID/NAME 列，其中每个实体行的超链接类似于 ID=12345、ID=67890 ...

上传后，datastire 查看器会显示 ID/NAME 列，其中每个实体行的超链接类似于 NAME=12345、NAME=67890 ...。

<小时/>

可能的原因？

我实际上已经在 https://groups.google.com/forum/?hl=en#!topic/objectify-appengine/FFuB2Onfnzc 上发布了我的问题但我们不知道在上传回数据时避免将 __key__ 属性转换为字符串的语法。

Jeff(Objectify3.0 的创建者)说:

错误消息表明数据存储中的数据为字符串名称键，但您的游戏实体有一个数字 Long @Id。我真的不知道批量加载器的语法，但最可疑的行是这一行:

export_transform: transform.key_id_or_name_as_string

看起来您正在将所有数字 id 转换为字符串，这将是你的问题。将它们保留为数字。

我尝试删除 export_transform:transform.key_id_or_name_as_string 但当我下载时，csv 文件为空。

也许解决方案是避免使用 --config_file 参数和 bulkloader.yaml 文件，而只是让bulkloader下载/上传数据而不进行任何转换？

<小时/>

可能相关的额外信息

我正在使用 objectify3.0.jar 来操作我的 GAE 数据存储。所以我的游戏类型如下所示:

public class Game {
    @Id private Long id; //This is my key property, auto generated by objectify  
    private String name;
    private String genre; 
    private Date releasedate;

    //ommitting getters and setters 
}

Answer 1

我做了一些实验，我相信我有解决方案。

我实际上是从我问的另一篇 stackoverflow 帖子中得到这个想法的:Using Java Google App Engine bulkloader to download entire datastore to one csv file

修复方法是避免使用 --config_file 和 bulkloader.yaml。

我使用以下命令将每种类型下载到单个 csv 文件中:

appcfg.py download_data --filename=backup.csv --application=MyAppId --url=http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

我使用以下命令将单个 csv 文件上传回数据存储区:

appcfg.py upload_data --filename=backup.csv --application=MyAppId --url=http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

它们是相同的命令，但只是 download_data 和 upload_data 交换了位置。

这个想法只是让 appcfg 下载和上传所有实体(不是特定的)，即不使用任何导出或导入转换。