26
4
Currently I'm using spark to write data into neo4j which when starting a write creates 200 threads writing into neo4j simultaneously. Is there a way to limit how many threads are created and used simultaneously or is the only way to decrease the cluster and instance size?
I know this kind of goes against what Spark is meant to do but would love to get any feedback.
目前，我正在使用Spark向ne4j写入数据，当开始写入时，它会创建200个线程同时写入到ne4j。有没有办法限制同时创建和使用的线程数量，或者这是减少集群和实例大小的唯一方法？我知道这与Spark的意图背道而驰，但我希望得到任何反馈。
I have triedspark.conf.set("spark.executor.cores", 4)
我已经尝试了spak.conf.set(“spak.ecutor.cores”，4)
with no Luck.
没有运气。
个人中心
文章发布
退出edges.write.format("org.neo4j.spark.DataSource")\
.option("url", "neo4j://url:7687") \
.mode("overwrite")\
.option("relationship", "connected")\
.option("batch.size",1000)\
.option("relationship.save.strategy", "keys")\
.option("relationship.source.node.keys", "id:id")\
.option("relationship.target.node.keys", "id:id")\
.option("relationship.source.labels", "node")\
.option("relationship.target.labels", "node")\
.save()
spark.executor.cores defines the number of threads per executor. So, if you set it to "1", you will reduce the number of writers to 1 per executor. This change is equivalent to reducing the cluster size, though, so it doesn't make much sense in this scenario.
Cores定义每个执行器的线程数。因此，如果将其设置为“1”，则每个执行器的写入器数量将减少到1个。不过，此更改等同于减少集群大小，因此在此场景中没有多大意义。
Try to repartition your dataframe before the write:
尝试在写入之前对数据帧进行重新分区：
edges.repartition(parallelism)
...
.option("url", "neo4j://url:7687") \
.mode("overwrite")\
...
Where parallelism is the number of tasks that will be writing concurrently.
其中，并行度是将并发写入的任务数。
The common solution is to coalesce (which is similar to repartition but much more efficient as it does not require a shuffle). Something like:
常见的解决方案是合并(这类似于重新分区，但效率更高，因为它不需要洗牌)。类似于：
edges.coalesce(4).write...
One problem with this solution is that it assumes that edges/4 fits in the memory of the executor. If it does, that works great; if not, I don't think there is a way to limit the number of writers except by reducing the cluster.
这种解决方案的一个问题是，它假设边/4适合执行器的内存。如果是这样的话，效果很好；如果不是这样，我认为除了减少集群之外，没有其他方法来限制编写器的数量。
Repartition has worked for me I now only see the specified amount of connections created to neo4j. Thank you.
重新分区对我起作用了，我现在只看到指定数量的连接创建到了ne4j。谢谢。
26
4
0
我在优化 JOIN 以使用复合索引时遇到问题。我的查询是: SELECT p1.id, p1.category_id, p1.tag_id, i.rating FROM products p1
我有一个简单的 SQL 查询，我正在尝试对其进行优化以删除“使用位置；使用临时；使用文件排序”。 这是表格: CREATE TABLE `special_offers` ( `so_id` int
我有一个具有以下结构的应用程序表 app_id VARCHAR(32) NOT NULL, dormant VARCHAR(6) NOT NULL, user_id INT(10) NOT NULL
此查询的正确索引是什么。 我尝试为此查询提供不同的索引组合，但它仍在使用临时文件、文件排序等。 总表数据 - 7,60,346 产品= '连衣裙' - 总行数 = 122 554 CREATE TAB
为什么额外的是“使用where;使用索引”而不是“使用索引”。 CREATE TABLE `pre_count` ( `count_id`
我有一个包含大量记录的数据库，当我使用以下 SQL 加载页面时，速度非常慢。 SELECT goal.title, max(updates.date_updated) as update_sort F
我想知道 Using index condition 和 Using where 之间的区别；使用索引。我认为这两种方法都使用索引来获取第一个结果记录集，并使用 WHERE 条件进行过滤。 Q1。有什
I am using TypeScript 5.2 version, I have following setup:我使用的是TypeScript 5.2版本，我有以下设置： { "
I am using TypeScript 5.2 version, I have following setup:我使用的是TypeScript 5.2版本，我有以下设置： { "
I am using TypeScript 5.2 version, I have following setup:我使用的是TypeScript 5.2版本，我有以下设置： { "
mysql Ver 14.14 Distrib 5.1.58，用于使用 readline 5.1 的 redhat-linux-gnu (x86_64) 我正在接手一个旧项目。我被要求加快速度。我通过
在过去 10 多年左右的时间里，我一直打开数据库 (mysql) 的连接并保持打开状态，直到应用程序关闭。所有查询都在连接上执行。 现在，当我在 Servicestack 网页上看到示例时，我总是看到
我使用 MySQL 为我的站点构建了一个自定义论坛。列表页面本质上是一个包含以下列的表格:主题、上次更新和# Replies。 数据库表有以下列: id name body date topic_id
在mysql中解释的额外字段中你可以得到: 使用索引 使用where;使用索引 两者有什么区别？ 为了更好地解释我的问题，我将使用下表: CREATE TABLE `test` ( `id` bi
我经常看到人们在其Haxe代码中使用关键字using。它似乎在import语句之后。 例如，我发现这是一个代码片段: import haxe.macro.Context; import haxe.ma
这个问题在这里已经有了答案: "reduce" or "apply" using logical functions in Clojure (2 个答案) 关闭 8 年前。 “and”似乎是一个宏，
这个问题在这里已经有了答案: "reduce" or "apply" using logical functions in Clojure (2 个答案) 关闭 8 年前。 “and”似乎是一个宏，
我正在考虑在我的应用程序中使用注册表模式来存储指向某些应用程序窗口和 Pane 的弱指针。应用程序的一般结构如下所示。 该应用程序有一个 MainFrame 顶层窗口，其中有几个子 Pane 。可以有
奇怪的是：。似乎a是b或多或少被定义为id(A)==id(B)。用这种方式制造错误很容易：。有些名字出人意料地出现在Else块中。解决方法很简单，我们应该使用ext==‘.mp3’，但是如果ext表面
我遇到了一个我似乎无法解决的 MySQL 问题。为了能够快速执行用于报告目的的 GROUP BY 查询，我已经将几个表非规范化为以下内容(该表由其他表上的触发器维护，我已经同意了与此): DROP T
我是一名优秀的程序员,十分优秀！