gpt4 book ai didi

apache-spark - Spark 如何加速批量加载到 JanusGraph?

转载 作者:行者123 更新时间:2023-12-04 02:33:51 24 4
gpt4 key购买 nike

我需要使用 Cassandra 后端从其他存储将大量顶点和边加载到 JanusGraph。我读过有关批量加载和 Spark 配置(https://docs.janusgraph.org/advanced-topics/bulk-loading/https://docs.janusgraph.org/advanced-topics/hadoop/)的内容。

很清楚如何为 Spark 使用配置 JanusGraph,但我仍然不确定如何使用 Spark,以及 Spark 是否有助于加快插入图形的速度。

请提供一些使用 Hadoop MapReduce 或 Spark 来加速批量加载数据到 Janusgraph 的用例和代码示例(首选 Java 或 Python)。欢迎任何帮助!

最佳答案

我最近从事 POC 项目,使用 Apache Spark 将数据批量加载到 JanusGraph 中。我们在使用 Spark 加载数据时获得了很好的性能。下面的文章中提供了设置和示例代码。

https://medium.com/@nitinpoddar/bulk-loading-data-into-janusgraph-ace7d146af05

https://medium.com/@nitinpoddar/bulk-loading-data-into-janusgraph-part-2-ca946db26582

关于apache-spark - Spark 如何加速批量加载到 JanusGraph?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62721764/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com