TITAN- 并行查询 - org.apache.tinkerpop.gremlin.driver.Client.submit 处的并发超时异常

Question

作为容量和性能测试的一部分，我尝试使用 java 线程并行执行多个 gremlin 请求(图形遍历)。它可以在较少数量的线程中正常工作。

当我增加线程数(比如 500)时，出现以下错误

Exception in thread "Thread-34" java.lang.RuntimeException: java.lang.RuntimeException: java.util.concurrent.TimeoutException: Timed out waiting for an available host. at org.apache.tinkerpop.gremlin.driver.Client.submit(Client.java:146) at com.tests.java.titan.Vertices.exists(Vertices.java:37) at com.tests.java.titan.Complex.searchNodesRelatedByRelation(Complex.java:110) at com.tests.java.perfTests.TitanThread.run(ParallelGraphTraversal.java:112) Caused by: java.lang.RuntimeException: java.util.concurrent.TimeoutException: Timed out waiting for an available host. at org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:194) at org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:174) at org.apache.tinkerpop.gremlin.driver.Client.submit(Client.java:144) ... 3 more

我尝试将 threadPoolWorker 的值从 1 增加到 2，将 gremlinPool 从 8 增加到 16(在文件 gremlin-server.yaml 中)。但我没有注意到任何差异。

有人遇到过这个问题吗？您能否告诉我最大同时连接数是否有限制？

Our environment: CDH 5.7.1, Titan 1.1.0-SNAPSHOT, Solr 4.10.3, HBase 1.2.0, titan-tp3-driver to create remote connection to gremlin server and for querying

Answer 1

服务器上的 gremlinPool 设置往往仅限于 Runtime.availableProcessors()，因此使数字大于该值通常没有意义。服务器支持的请求数量在某种程度上取决于您执行的遍历类型。我可以想象这样的情况:您发送一系列较长的运行请求，这些请求可能会占用许多 gremlinPool 线程，从而减慢服务器本身的脚本处理能力。 Gremlin 服务器可能会继续接受请求，将它们存储在队列中以便在请求到达时进行处理，但处理时间会更长。

这种情况本身不应强制出现此错误，但驱动程序的默认设置可能不足以满足您尝试执行的操作。司机有一个load of settings它控制到服务器的消息流。如果特定主机的驱动程序状态超出这些设置的范围，它将忽略该主机并寻找另一个主机。例如，如果超出了 connectionPool.maxInProcessPerConnection 且无法添加其他连接，因为该连接也已达到最大值，则在驱动程序选择下一个要向其发送消息的主机的过程中，该主机将被忽略。这样，特定主机就不会因为客户端的请求而过载。

在您的情况下，我假设您的配置中没有其他主机，因此由于没有其他地方可以发送这些请求，因此驱动程序会尝试等待连接来释放自身。如果我们考虑我们的示例，那么它会等待处理中请求的数量低于 connectionPool.maxInProcessPerConnection。司机要等多久才能发生这种情况？它将等待connectionPool.maxWaitForConnection。如果超过该时间，您将收到您所看到的错误消息。