jdbc - 在客户端实现 ThreadPoolSize 的更改 - JDBC 驱动程序 Apache Phoenix

Question

我最近设置了一个 JDBC 驱动程序以使用 Apache Phoenix 连接到 Hadoop 数据库。 Squirrel 上的基本查询运行良好(例如，“select * from datafile”)，但是当我提出稍微复杂一点的查询(即“select column1 from datafile where column2 = 'filter1'”)时，我遇到了这个错误:

org.apache.phoenix.exception.PhoenixIOException: Task 
org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask rejected from 
org.apache.phoenix.job.JobManager[Running, pool size = 128, active threads = 
128, queued tasks = 5000, completed tasks = 5132]

从一些搜索来看，似乎我应该增加 Apache Phoenix hbase.xml 配置文件中的 ThreadPoolSize 以避免此错误，我已经这样做了，将它从 128 增加到 512。但是，它似乎并没有注意到了这个变化。错误仍然存​​在，错误中的“池大小”仍为 128。

在 Squirrel 中的 Phoenix Driver 设置中，我已经在设置中的“Extra Class Path”下指示了包含 .xml 配置文件的 hbase 和 hdfs 目录的位置。

有什么方法可以让驱动程序“注意到”ThreadPoolSize 已更改？

谢谢!

Answer 1

我在这个问题上花了很多时间...

第一步是对查询运行解释并查找 block 编号(例如:CLIENT 4819-CHUNK):

解释 select row sum(row2) where the_date=to_date("2018-01-01");

+------------------------------------------------------------------------------+
|                                                PLAN                          |
+------------------------------------------------------------------------------+
| CLIENT 4819-CHUNK 2339029958 ROWS 1707237752908 BYTES PARALLEL 4819-WAY FULL |
|     SERVER FILTER BY "THE_DATE" = DATE '2018-01-01 01:00:00.000'           |
|     SERVER AGGREGATE INTO DISTINCT ROWS BY ["THE_DATE"]                    |
| CLIENT MERGE SORT                                                            |
+------------------------------------------------------------------------------+
4 rows selected (0.247 seconds)

---

• 检查表格中的区域和/或路标数量
• 将 phoenix.stats.guidepost.width 属性设置为 大于 其默认大小 100MB 的值并重新启动 HBase 区域服务器以应用更改
• 通过运行以下命令更新表统计信息: jdbc:phoenix...> 更新统计信息 my_table

---

在 Ambari/hbase 配置中设置这些值:

phoenix.query.threadPoolSize:为每个查询运行的并发线程数，应设置为客户端/集群中区域服务器的 vcores 数。

phoenix.query.queueSize: 为任何队列运行的任务的最大队列深度，超过该深度的队列其他工作的尝试将被拒绝。 将此属性值设置为等于表的“ block ”数，如“explain”命令输出中所示。

引用资料 https://phoenix.apache.org/update_statistics.html