java - 使用 REST 优化 Neo4j 中的大量批量插入

Question

我需要通过 REST API 的批处理端点将大量节点以及它们之间的关系插入到 Neo4j 中，大约 5k 记录/秒(仍在增加)。

这将是 24x7 连续插入。每条记录可能只需要创建一个节点，但其他记录可能需要创建两个节点和一个关系。

我可以通过更改程序或修改 Neo4j 的设置来提高插入的性能吗？

到目前为止我的进步:

<强>1。我已经用 Neo4j 测试了一段时间，但我无法获得所需的性能

测试服务器盒:24核+32GB RAM

Neo4j 2.0.0-M06 作为独立服务安装。

在同一台服务器上运行我的 Java 应用程序。(Neo4j 和 Java 应用程序以后需要在各自的服务器上运行，因此不能使用嵌入式模式)

REST API 端点:/db/data/batch(目标:/cypher)

使用模式索引、约束、MERGE、CREATE UNIQUE。

<强>2。我的架构:

neo4j-sh (0)$ schema
==> Indexes
==>   ON :REPLY(created_at)   ONLINE                             
==>   ON :REPLY(ids)          ONLINE (for uniqueness constraint) 
==>   ON :REPOST(created_at) ONLINE                             
==>   ON :REPOST(ids)        ONLINE (for uniqueness constraint) 
==>   ON :Post(userId)      ONLINE                             
==>   ON :Post(postId)    ONLINE (for uniqueness constraint) 
==> 
==> Constraints
==>   ON (post:Post) ASSERT post.postId IS UNIQUE
==>   ON (repost:REPOST) ASSERT repost.ids IS UNIQUE
==>   ON (reply:REPLY) ASSERT reply.ids IS UNIQUE

<强>3。我的密码查询和 JSON 请求

3.1.当一条记录需要单节点创建时，job description如下所示

{"method" : "POST","to" : "/cypher","body" : {"query" : "MERGE (child:Post {postId:1001, userId:901})"}}

3.2.当一条记录需要创建一个关系的两个节点时，职位描述如下所示

{"method" : "POST","to" : "/cypher","body" : {"query" : "MERGE (parent:Post {postId:1002, userId:902}) MERGE (child:Post {postId:1003, userId:903}) CREATE UNIQUE parent-[relationship:REPOST {ids:'1002_1003', created_at:'Wed Nov 06 14:06:56 AST 2013' }]->child"}}

3.3. 我通常每批发送 100 份职位描述(混合 3.1 和 3.2)，大约需要 150~250 毫秒才能完成。

<强>4。性能问题

4.1.并发性:

4.2. 带有约束的 MERGE 并不总是有效。

当使用单个查询创建两个节点和一个关系时(在上面 3.2. 中提到)，它有时会像一个魅力一样工作；但它有时会因 CypherExecutionException 而失败，并说其中一个节点 xxxx 已经存在，标签为 aaaa 且属性为“bbbbb”=[ccccc]；根据我的理解，MERGE 不会返回任何异常，但如果它已经存在则返回节点。

异常导致整批失败回滚，影响我的插入率。

我已经在 GitHub 上针对这个问题开了一个问题，https://github.com/neo4j/neo4j/issues/1428

4.3. CREATE UNIQUE with constraints 并不总是适用于关系创建。

这也在同一个 github 问题中提到。

4.4.性能:

实际上，在我使用 cypher 批处理之前，我已经尝试过使用 get_or_create (/db/data/index/node/Post?uniqueness=get_or_create &/db/data/index/relationship/XXXXX?uniqueness=get_or_create )

由于那些遗留索引端点的性质(它们返回索引中的数据位置而不是实际数据存储中的数据位置)，所以我无法在批处理中使用它们(需要在之前创建的引用节点的功能)同一批)

我知道我可以启用 auto_indexing，并直接处理数据存储而不是遗留索引，但是他们提到从 2.0.0 开始，建议使用模式索引而不是遗留索引，所以我决定切换到批处理 + 密码 + 模式索引方法。

但是，使用 batch + cypher，我每秒只能获得大约 200 个职位描述的插入率，如果带有约束的 MERGE 始终有效，它会高得多，假设大约 600~800/s，但它仍然很多低于 5k/s。我还尝试了没有任何约束的模式索引，它最终在插入率方面的性能甚至更低。

Answer 1

在 2.0 中，我会使用事务端点来批量创建您的语句，例如每个 http 请求 100 或 1000 个，每个事务大约 30k-50k(直到您提交)。

有关新的流式处理端点的格式，请参阅此内容:

http://docs.neo4j.org/chunked/milestone/rest-api-transactional.html

此外，对于如此高性能的连续插入端点，我衷心建议编写一个服务器扩展，它可以针对嵌入式 API 运行，并且可以轻松地每秒插入 10k 或更多节点和关系，请参阅此处的文档:

http://docs.neo4j.org/chunked/milestone/server-unmanaged-extensions.html

对于纯插入，您不需要 Cypher。对于并发，只需锁定一个众所周知的(每个您插入的子图)节点，这样并发插入就没有问题，您可以使用 tx.acquireWriteLock() 或删除一个节点中不存在的属性(REMOVE n.__lock__)。

有关编写非托管扩展(但使用 cypher 的扩展)的另一个示例，请查看此项目。它甚至有一种模式可以帮助您(将 CSV 文件发布到服务器端点，每行使用一个密码语句执行)。

https://github.com/jexp/cypher-rs