python - 如何使用 Py2Neo 修复 Linux 上的 IncompleteRead 错误

Question

我正在使用 Python (2.7.6) 和 Py2Neo (1.6.4) 更新 Neo4j 服务器上的数据。我的加载函数是:

from py2neo import neo4j,node, rel, cypher

session = cypher.Session('http://my_neo4j_server.com.mine:7474')

def load_data():  
    tx = session.create_transaction()
    for row in dataframe.iterrows():  #dataframe is a pandas dataframe 
        name = row[1].name
        id = row[1].id

        merge_query = "MERGE (a:label {name:'%s', name_var:'%s'}) " % (id, name)        
        tx.append(merge_query)
    tx.commit()     

当我在 Windows 中从 Spyder 执行它时，效果很好。 dataframe 中的所有数据都提交给 neo4j 并在图中可见。但是，当我从 linux 服务器(不同于 neo4j 服务器)运行它时，我在 tx.commit() 处收到以下错误。请注意，我有相同版本的 python 和 py2neo。

INFO:py2neo.packages.httpstream.http:>>> POST http://neo4j1.qs:7474/db/data/transaction/commit [1360120]
INFO:py2neo.packages.httpstream.http:<<< 200 OK [chunked]
ERROR:__main__:some part of process failed
Traceback (most recent call last):
  File "my_file.py", line 132, in load_data
    tx.commit()
  File "/usr/local/lib/python2.7/site-packages/py2neo/cypher.py", line 242, in commit
    return self._post(self._commit or self._begin_commit)
  File "/usr/local/lib/python2.7/site-packages/py2neo/cypher.py", line 208, in _post
    j = rs.json
  File "/usr/local/lib/python2.7/site-packages/py2neo/packages/httpstream/http.py", line 563, in json
    return json.loads(self.read().decode(self.encoding))
  File "/usr/local/lib/python2.7/site-packages/py2neo/packages/httpstream/http.py", line 634, in read
    data = self._response.read()
  File "/usr/local/lib/python2.7/httplib.py", line 543, in read
    return self._read_chunked(amt)
  File "/usr/local/lib/python2.7/httplib.py", line 597, in _read_chunked
    raise IncompleteRead(''.join(value))
IncompleteRead: IncompleteRead(128135 bytes read)

这篇文章 ( IncompleteRead using httplib ) 表明这是一个 httplib 错误。我不确定如何处理，因为我没有直接调用 httplib。

关于让此负载在 Linux 上运行的任何建议或 IncompleteRead 错误消息的含义是什么？

更新:IncompleteRead 错误是由返回的 Neo4j 错误引起的。 _read_chunked 中返回的导致错误的行是:

pe}"}]}],"errors":[{"code":"Neo.TransientError.Network.UnknownFailure"

Neo4j 文档说这是一个未知的网络错误。

Answer 1

虽然我不能肯定地说，但这意味着客户端和服务器之间存在某种本地网络问题，而不是库中的错误。 Py2neo 包装了 httplib(它本身非常可靠)，并且从堆栈跟踪来看，它看起来好像客户端期望来自分块响应的更多 block 。

要进一步诊断，您可以从 Linux 应用程序服务器对数据库服务器进行一些 curl 调用，看看哪些成功了，哪些没有成功。如果可行，请尝试编写一个快速而肮脏的 python 脚本，以直接使用 httplib 进行相同的调用。

更新 1: 考虑到上述更新以及服务器流式传输其响应这一事实，我认为 block 大小可能代表预期的有效负载，但错误会缩短响应时间。使用 curl 重新创建问题似乎是最好的下一步，可以帮助确定它是驱动程序、服务器还是其他方面的故障。

更新 2:今天早上再次查看，我注意到您正在使用 Python 替换 MERGE 语句中的属性。作为一种好的做法，您应该在 Cypher 级别使用参数替换:

merge_query = "MERGE (a:label {name:{name}, name_var:{name_var}})"
merge_params = {"name": id, "name_var": name}
tx.append(merge_query, merge_params)