gpt4 book ai didi

java - 如何定义自定义分析器以使用 hibernate-search 和 elasticsearch 进行全局搜索

转载 作者:行者123 更新时间:2023-12-02 02:19:09 24 4
gpt4 key购买 nike

我有一个 hibernate-search-orm (5.9.0.Final) 和 hibernate-search-elasticsearch (5.9.0.Final) 的实现。

我在一个实体上定义了一个自定义分析器(见下文),并对两个实体建立了索引:

id: "1"
title: "Médiatiques : récit et société"
abstract:...

id: "2"
title: "Mediatique Com'7"
abstract:...

当我在标题字段中搜索时,搜索工作正常:

"title:médiatique" => 2 results.
"title:mediatique" => 2 results.

我的问题是当我使用重音符号(或不使用重音符号)进行全局搜索时:

search on "médiatique => 1 result (id:1)
search on "mediatique => 1 result (id:2)

有办法解决这个问题吗?

谢谢。

实体定义:

@Entity
@Table(name="bibliographic")
@DynamicUpdate
@DynamicInsert
@Indexed(index = "bibliographic")
@FullTextFilterDefs({
@FullTextFilterDef(name = "fieldsElasticsearchFilter",
impl = FieldsElasticsearchFilter.class)
})
@AnalyzerDef(name = "customAnalyzer",
tokenizer = @TokenizerDef(factory = StandardTokenizerFactory.class),
filters = {
@TokenFilterDef(factory = LowerCaseFilterFactory.class),
@TokenFilterDef(factory = ASCIIFoldingFilterFactory.class),
})

@Analyzer(definition = "customAnalyzer")
public class BibliographicHibernate implements Bibliographic {
...
@Column(name="title", updatable = false)
@Fields( {
@Field,
@Field(name = "titleSort", analyze = Analyze.NO, store = Store.YES)
})
@SortableField(forField = "titleSort")
private String title;
...
}

搜索方法:

FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager); 
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class).get();
QueryDescriptor q = ElasticsearchQueries.fromQueryString(queryString);
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);

if (filters!=null){
filters.stream().map((filter) -> filter.split(":")).forEach((f) -> {
query.enableFullTextFilter("fieldsElasticsearchFilter")
.setParameter("field", f[0])
.setParameter("value", f[1]);
}
);
}
if (facetFields!=null){
facetFields.stream().map((facet) -> facet.split(":")).forEach((f) ->{
query.getFacetManager()
.enableFaceting(qb.facet()
.name(f[0])
.onField(f[0])
.discrete()
.orderedBy(FacetSortOrder.COUNT_DESC)
.includeZeroCounts(false)
.maxFacetCount(10)
.createFacetingRequest() );
}
);
}
List<Bibliographic> bibs = query.getResultList();

最佳答案

说实话,我更惊讶文档 1 竟然会匹配,因为“Médiatiques”上有一个尾随“s”,而且您没有使用任何词干分析器。

这里有一个特殊情况:您正在使用查询字符串并将其直接传递到 Elasticsearch(这就是 ElasticsearchQueries.fromQueryString(queryString) 所做的事情)。 Hibernate Search 对正在运行的查询影响很小,它只影响索引内容和此处的 Elasticsearch 映射。

当您运行QueryString query时在 Elasticsearch 上,您不指定任何字段,它会使用文档中的所有字段。我不敢打赌,分析查询时使用的分析器与您在“标题”字段中定义的分析器相同。特别是,它可能不会删除重音符号。

另一种解决方案是使用QueryBuilder构建一个简单的查询字符串查询。查询的语法有一点限制,但对于最终用户来说通常足够了。代码如下所示:

FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager); 
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class).get();
Query q = qb.simpleQueryString()
.onFields("title", "abstract")
.matching(queryString)
.createQuery();
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);

用户仍然能够定位特定字段,但只能在您提供的列表中(顺便说一句,这可能更安全,否则他们可能会定位排序字段等,而您可能不希望允许这些字段) )。默认情况下,该列表中的所有字段都将成为目标。

这可能会导致与查询字符串完全相同的结果,但优点是,您可以覆盖用于查询的分析器。例如:

FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager);
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class)
.overridesForField("title", "customAnalyzer")
.overridesForField("abstract", "customAnalyzer")
.get();
Query q = qb.simpleQueryString()
.onFields("title", "abstract")
.matching(queryString)
.createQuery();
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);

...这将在查询时使用您的分析器。

作为替代方案,您还可以通过将 ElasticsearchQueries.fromQueryString(queryString) 替换为 ElasticsearchQueries.fromJsonQuery(json) 来使用更高级的 JSON 查询。不过,您必须自己制作 JSON,采取一些预防措施以避免用户注入(inject)(使用 Gson 构建 Json),并注意遵循 Elasticsearch query syntax .

您可以在official documentation中找到有关简单查询字符串查询的更多信息。 .

注意:您可能需要将 FrenchMinimalStemFilterFactory 添加到自定义分析器中的标记过滤器列表中。这不是问题的原因,但是一旦您设法在搜索查询中使用分析器,您很快就会发现它很有用。

关于java - 如何定义自定义分析器以使用 hibernate-search 和 elasticsearch 进行全局搜索,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48769296/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com