spring-boot - Spring Data Elastic 从 3.x 迁移到 4.x 的索引问题

Question

在使用 JHIPSTER-6.10.5 的整体应用程序中，我们使用 Spring-Data-Elastic 版本:3.3.1 和 Elastic Search 版本: 6.8.8。我们有多个@ManyToOne和@OneToMany与 100 多个实体建立关系。在某些情况下，最多 7 个实体相互引用(我的意思是相互关联，而不仅仅是一个实体与另一个实体之间的相互关联)。对于 Elasticsearch ，我们一直在使用

1. 忽略索引:@JsonIgnoreProperities(value = { "unwanted fields" }, allowSetters = true)和@JsonIgnore不需要的地方
2. 要映射关系:在 ManyToOne 上我们使用@JsonBackReference相应的@JsonManagedReference分别在OneToMany关系。

现在我们正在迁移到 Jhipster-7.0.1 并开始发现以下问题:

1. 新的 Spring-Data-Elastic 版本:4.1.6 和 Elastic Search 版本:7.9.3
2. 现在，Spring 数据具有弹性，基于 Jackson 的映射器不可用，我们看到多个 StackOverflow 错误。以下是我们对注释所做的迁移更改:
   1. 关于我们添加的关系 @Field(type = FieldType.Nested, ignoreMalformed = true, ignoreFields = {"unwanted fields"}) 。这在 Spring 数据级别停止了 StackOverflow 错误，但仍然在内部弹性休息客户端级别抛出 StackOverflow 错误。所以，我们被迫使用@Transient排除所有 OnetoMany关系。
   2. 甚至在 ManyToOne与上述关系@Field注释目前我们面临着elasticsearchException，“索引[]中的总字段[1000]已超出限制”
   3. 我已尝试遵循 spring data 上的文档，但无法解决。
   4. 我们还保留了 Jhipster 生成的 Json(Jackson) 注释，但它们没有任何效果。

我们目前陷入停滞，因为我们不确定如何解决这些问题；就我个人而言，使用 Json 注释非常方便且有据可查；我们对 Elastic Search 和 Spring Data Elastic Search 都很陌生，在过去 8 个月内才开始使用它，无法弄清楚如何修复这些错误。请询问我是否遗漏了任何需要的信息。我会在不违反组织政策的情况下分享尽可能多的信息。

gitter 上请求的示例代码存储库:https://gitlab.com/thelearner214/spring-data-es-sample

提前谢谢

Answer 1

查看您在 gitter 上链接的存储库(您可以考虑在此处添加链接)。

首先:@Field注释用于编写索引映射，并且在构建映射时需要ignoreFields属性来打破循环引用。当实体写入 Elasticsearch 时不使用它。

例如，在写入 Elasticsearch 期间，Address 和 Customer 实体会发生什么情况:Customer 文档具有 Address >es，以便这些地址被转换为嵌入 Customer 文档中的子文档。但是 Address 有一个 Customer，因此在写入地址时，Customer 会嵌入到这个 Address 元素中，该元素已经是客户的子文档。

我认为客户不应存储在地址中，反之亦然。因此，您需要将这些嵌入文档标记为 @org.springframework.data.annotation.Transient，您不需要在它们上添加 @Field 注释，因为您不想要将它们存储为索引中的属性。

Spring Data Elasticsearch 不再使用 Jackson 注释。

此处使用的方法的基本问题是来自关系世界的建模 - 使用(一|多)对{一|多)关系链接和连接不同的表，这在 Java 对象图中体现出来由 ORM 映射器 - 用于不使用这些概念的基于文档的数据存储。

以前的版本是可以的，因为老版本的Spring Data Elasticsearch也使用了Jackson，所以这些字段在编写时被跳过，现在你必须添加@Transient注释是一个 Spring Data 注释。

但我不知道 @Transient 可能如何干扰 Spring Data JPA - 另一点表明，为不同的存储使用相同的 Java 类并不是一个好主意