database - 如何将社交网络关系 csv(列表字典)文件导入 neo4j 图形数据库？

Question

我知道如何将 CSV 文件导入到 neo4j 图形数据库中，但我发现它们都是固定数量的列，如下所示:

id1,id2,id3,id4,id5

id2,id2,id3,id4,id5

id3,id2,id3,id4,id5

但是我有一个可变列的 CSV 文件，描述了人与人之间的关系。它看起来像这样:

id1,id2,id3,id4,id5

id2,id2,id3,id4,id5, id6, id7

id3,id2,id3

这意味着 id1 人跟随 id2、id3、id4、id5，id2 人跟随 id2、id3、id4、id5、id6、id7。

而且这个文件很大(大约6Gb)，我应该如何将它导入neo4j？

Answer 1

这里有一些关于如何使用 Cypher LOAD CSV 子句导入的提示。要处理真正的大数据导入任务，您可能需要查看 neo4j-import而是工具。

处理不同数量的列不是问题，因为您可以将每个 CSV 文件行视为项目的集合。

您应该通过 CSV 文件分两次导入数据。在第一遍中，创建所有 Person 节点。在第二遍中，匹配适当的节点，然后在它们之间创建关系。为了大大加快第二遍，您应该首先创建一个 index或 uniqueness constraint (这将为您创建一个索引)用于通过 ID 匹配 Person 节点。

我假设:

• 在您的 CSV 文件中，每个 Person 都有一行，每行的第一列都有该人的唯一 ID。
• 如果Person 不关注任何人，则该行将只有一列。

• 您的 neo4j 模型看起来像这样:

  (p1:Person {id: 123})-[:FOLLOWS]->(p2:Person {id: 234})

首先，创建唯一性约束:

CREATE CONSTRAINT ON (p:Person) ASSERT p.id IS UNIQUE;

然后，使用 CSV 文件第一列中的 ID 创建 Person 节点。我们使用 MERGE 来确保 LOAD 在第 1 列中碰巧有任何重复 ID 时不会中止(由于唯一性约束)。如果您确定有没有重复的 ID，您可以改用 CREATE，这应该会更快。为避免内存不足，我们一次处理并提交 10000 行:

USING PERIODIC COMMIT 10000
LOAD CSV FROM "file:///varying.csv" AS row
MERGE (:Person {id: row[0]});

最后，创建适当的 Person 节点之间的关系。此查询使用 USING INDEX 提示来鼓励 Cypher 利用索引(由唯一性约束自动创建)快速找到合适的 Person 节点。同样，为了避免内存不足，我们一次处理 10000 行:

USING PERIODIC COMMIT 10000
LOAD CSV FROM "file:///varying.csv" AS row
WITH row[0] AS pid1, row[1..] AS followed
UNWIND followed AS pid2
MATCH (p1:Person {id: pid1}), (p2:Person {id: pid2})
USING INDEX p1:Person(id)
USING INDEX p2:Person(id)
MERGE (p1)-[:FOLLOWS]->(p2);