redis - CSV文件中包含大量数据的redisgraph-bulk-loader问题

Question

以下是我尝试上载具有一百万条记录的文件时遇到的一些问题。帮助我解决问题。当我尝试在博客中找到解决方案时，所有人都建议修改一些逻辑。但是我直接使用redisgraph-bulk-loader实用程序。

UnicodeDecodeError:'utf-8'编解码器无法解码位置3565中的字节0xe8:无效的继续字节

_csv.Error:行包含NULL字节

如果列值包含引号和逗号，则无法使用。

redisgraph_bulk_loader.bulk_insert.CSVError:/home/ec2-user/test.csv:2预期4列，遇到5('1,3,4，“5,6”')

GraphName对于每个新上载都应该始终是唯一的。在这种情况下，如果我想向同一图形添加更多节点，或者想从其他文件建立关系，该如何实现。

Answer 1

正如您在redisgraph-bulk-loader repository上打开的问题中所回答的:

Not working if column value contains quotes and comma.

通过使用 --quote参数更改输入引用行为，可以解决此问题。但是，下一个建议将使此变得不必要。

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe8 in position 3565: invalid continuation byte _csv.Error: line contains NULL byte

这些也可能是类型推断逻辑的问题。您可能希望尝试使用引入了强制模式的更新分支(即将合并)。这也将解决您的第一个问题。 git checkout improve-loader-logic并按照 the updated branch's docs中所述更新标题行。

如果这样做不能解决问题，则可能需要更深入地研究编码问题。

GraphName should be unique always for each new upload. In this case, if I want to add some more nodes to same graph or if I want establish relationships from some other file how to achieve this.

批量加载器是一次性工具，当前必须使用Cypher查询对现有图形进行所有更新。