sql - hadoop orc表始终只使用一个映射器

Question

在我当前的项目中，我正在处理具有快速压缩格式的 Orc 文件，我运行的任何查询都只使用一个映射器运行。我尝试配置 mapred.max.split.size 和 mapred.min.split。大小，但未显示映射器数量的任何变化。reducer 数量足够好，但由于映射器是单个映射器，运行简单查询的时间。

根据 x 从 z 组中选择 x,max(y) ；需要将近 20 分钟才能完成映射器。我应该做些什么来增加映射器的数量。

请不要告诉我使用分区或桶，因为我已经在我的表中使用过它们。

Answer 1

尝试使用 tblproperties orc.stripe.size。

strip 大小的默认值为 256 MB，从技术上讲，每个 strip 都有一个映射器。随着单个 strip 大小的减小，您可以增加映射器的数量。