将记录添加到空间层后，Neo4J 性能大幅下降

Question

所以我有大约 7000 万条空间记录要添加到空间层(我用一个小集合进行了测试，一切都很顺利，查询返回与 postgis 相同的结果，层操作似乎很好)但是当我尝试将所有空间记录添加到数据库中时，性能迅速下降到它在大约 500 万条(大约 2 小时运行时间)记录时变得非常慢并且挂起在 ~770 万条(8 小时过去了)。

由于空间索引是一个使用图结构构建自身的Rtree，我想知道为什么当os记录数增加时它会退化。如果我没记错的话，Rtree 插入是 O(n) 的，这就是为什么我担心它可能是边界框的重新排列之间的某种东西，不是树叶的节点导致 addToLayer 过程随着时间的推移变得更慢。

目前我正在像那样向层添加节点(很多硬编码的东西因为我试图在模式和代码风格之前找出问题):

Transaction tx = database.beginTx();
    try {

        ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);
        long i = 0L;
        for (Node node : layerNodes) {
            Transaction tx2 = database.beginTx();
            try {
                layer.add(node);
                i++;
                if (i % commitInterval == 0) {
                    log("indexing (" + i + " nodes added) ... time in seconds: "
                            + (1.0 * (System.currentTimeMillis() - startTime) / 1000));
                }
                tx2.success();
            } finally {
                tx2.close();
            }
        }
        tx.success();
    } finally {
        tx.close();
    }

有什么想法吗？关于如何提高性能的任何想法？

ps.: 使用java APINeo4j 2.1.2，空间 0.13酷睿 i5 3570k @4.5Ghz，32GB 内存数据库专用2TB 7200硬盘(没有操作系统，没有虚拟内存文件，只有数据本身)

ps2.: 所有几何图形都是线串(如果那很重要的话:P)它们代表街道、道路等。

ps3.: 节点已经在数据库中，我只需要将它们添加到 Layer 以便我可以执行空间查询，bbox 和 wkb 属性没问题，经过测试并适用于一个小集合。

提前致谢

修改后再次运行代码(只需要5小时将点插入数据库，不涉及层)出现这种情况，将尝试增加jvm堆和embeddedgraph内存参数。

indexing (4020000 nodes added) ... time in seconds: 8557.361
Exception in thread "main" org.neo4j.graphdb.TransactionFailureException: Unable to commit transaction
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:140)
    at gis.CataImporter.addDataToLayer(CataImporter.java:263)
    at Neo4JLoadData.addDataToLayer(Neo4JLoadData.java:138)
    at Neo4JLoadData.main(Neo4JLoadData.java:86)
Caused by: javax.transaction.SystemException: Kernel has encountered some problem, please perform neccesary action (tx recovery/restart)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
    at org.neo4j.kernel.impl.transaction.KernelHealth.assertHealthy(KernelHealth.java:61)
    at org.neo4j.kernel.impl.transaction.TxManager.assertTmOk(TxManager.java:339)
    at org.neo4j.kernel.impl.transaction.TxManager.getTransaction(TxManager.java:725)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:119)
    ... 3 more
Caused by: javax.transaction.xa.XAException
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:560)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:448)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:385)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.commit(TransactionImpl.java:123)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:124)
    at gis.CataImporter.addDataToLayer(CataImporter.java:256)
    ... 2 more
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
    at org.neo4j.kernel.impl.nioneo.store.DynamicRecord.clone(DynamicRecord.java:179)
    at org.neo4j.kernel.impl.nioneo.store.PropertyBlock.clone(PropertyBlock.java:215)
    at org.neo4j.kernel.impl.nioneo.store.PropertyRecord.clone(PropertyRecord.java:221)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:118)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:81)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.ensureHasBeforeRecordImage(RecordChanges.java:217)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.prepareForChange(RecordChanges.java:162)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.forChangingData(RecordChanges.java:157)
    at org.neo4j.kernel.impl.nioneo.xa.PropertyCreator.primitiveChangeProperty(PropertyCreator.java:64)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransactionContext.primitiveChangeProperty(NeoStoreTransactionContext.java:125)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransaction.nodeChangeProperty(NeoStoreTransaction.java:1244)
    at org.neo4j.kernel.impl.persistence.PersistenceManager.nodeChangeProperty(PersistenceManager.java:119)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation$1.visitNodePropertyChanges(KernelTransactionImplementation.java:344)
    at org.neo4j.kernel.impl.api.state.TxStateImpl$6.visitPropertyChanges(TxStateImpl.java:238)
    at org.neo4j.kernel.impl.api.state.PropertyContainerState.accept(PropertyContainerState.java:187)
    at org.neo4j.kernel.impl.api.state.NodeState.accept(NodeState.java:148)
    at org.neo4j.kernel.impl.api.state.TxStateImpl.accept(TxStateImpl.java:160)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.createTransactionCommands(KernelTransactionImplementation.java:332)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.prepare(KernelTransactionImplementation.java:123)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.prepareKernelTx(XaResourceManager.java:900)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.commit(XaResourceManager.java:510)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceHelpImpl.commit(XaResourceHelpImpl.java:64)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:548)
    ... 7 more

28/07 -> 增加内存没有帮助，现在我正在测试 RTreeIndex 和 LayerRTreeIndex 中的一些修改(字段 maxNodeReferences 到底做了什么？

// Constructor

public LayerRTreeIndex(GraphDatabaseService database, Layer layer) {
    this(database, layer, 100);     
}

public LayerRTreeIndex(GraphDatabaseService database, Layer layer, int maxNodeReferences) {
    super(database, layer.getLayerNode(), layer.getGeometryEncoder(), maxNodeReferences);
    this.layer = layer;
}

它被硬编码为 100，当(明智地添加节点数)我的 addToLayer 方法崩溃到 OutOfMemory 错误时，更改它的值会发生变化，如果我没记错的话，更改该字段的值会增加或减少树的宽度和深度(100 比 50 宽，50 比 100 深)。

总结到目前为止的进展:

• @Jim 纠正了交易的错误使用
• 按照@Peter 的建议，内存堆增加到 27GB
• 还有 3 个空间层，但现在问题变得真实了，因为它们很大。
• 在向空间层添加节点时做了一些内存分析，我发现了一些有趣的点。

内存和 GC 分析:http://postimg.org/gallery/biffn9zq/

在整个过程中使用最多内存的类型是 byte[]，我只能假设它属于几何 wkb 属性(几何本身或 rtree 的 bbox)。考虑到这一点，我还注​​意到(您可以查看新的分析图像)使用的堆空间量从未低于 18GB 标记。

根据这个问题are java primitives garbage collectedJava 中的基本类型是原始数据，因此不会受到垃圾收集，并且仅在方法返回时从方法的堆栈中释放出来(所以也许当我创建一个新的空间层时，所有这些 wkb 字节数组将保留在内存中直到我手动关闭图层对象)。

这有意义吗？有没有更好的方法来管理内存资源，以便该层不会保留未使用的旧数据加载？

Answer 1

卡塔卡瓦科，

您将每个添加作为单独的事务进行。要使用您的 commitInterval，您需要将代码更改为类似这样的内容。

Transaction tx = database.beginTx();

try {
    ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);

    long i = 0L;

    for (Node node : layerNodes) {
        layer.add(node);
        i++;

        if (i % commitInterval == 0) {
            tx.success();
            tx.close();

            log("indexing (" + i + " nodes added) ... time in seconds: "
                + (1.0 * (System.currentTimeMillis() - startTime) / 1000));

            tx = database.beginTx();
        }
    }

    tx.success();
} finally {
    tx.close();
}

看看这是否有帮助。

恩典与平安，

吉姆