pyarrow - 如何加入 2 个箭头表？

Question

我想在一个公共(public)属性上连接两个 Arrow 表。 Arrow 是否有一些 C++ API 来实现相同的目的？我确实找到了一个叫做 HashJoin 的东西，但我不确定它是否可以用来连接 2 个表。对此的任何指示都会非常有帮助。

Answer 1

如果您使用的是 C++ API，则可以使用 ExecPlan 实现连接。 ExecPlan API 仍标记为实验性的，但它是 should have some updated documentation soon 。一个例子被添加为 this PR 的一部分。这个例子的关键是:

  ARROW_ASSIGN_OR_RAISE(left_source,
                        cp::MakeExecNode("scan", plan.get(), {}, l_scan_node_options));
  ARROW_ASSIGN_OR_RAISE(right_source,
                        cp::MakeExecNode("scan", plan.get(), {}, r_scan_node_options));

  arrow::compute::HashJoinNodeOptions join_opts{arrow::compute::JoinType::INNER,
                                                /*in_left_keys=*/{"lkey"},
                                                /*in_right_keys=*/{"rkey"}};

  ARROW_ASSIGN_OR_RAISE(
      auto hashjoin,
      cp::MakeExecNode("hashjoin", plan.get(), {left_source, right_source}, join_opts));

你可以查看 HashJoinNodeOptions here 。