apache-spark - 如何实现spark sql分页查询

Question

有人如何在 Spark sql 查询中进行分页吗？

我需要使用spark sql，但不知道如何进行分页。

尝试过:

select * from person limit 10, 10

Answer 1

已经6年了，不知道当时是否可以。

我会在答案上添加一个顺序ID，并在偏移量和偏移量+限制之间搜索寄存器

在纯 Spark SQL 查询中，对于偏移量 10 和限制 10，它会是这样的

WITH count_person AS (
    SELECT *, monotonically_increasing_id() AS count FROM person)
SELECT * FROM count_person WHERE count > 10 AND count < 20

在 PySpark 上，情况非常相似

import pyspark.sql.functions as F

offset = 10
limit = 10
df = df.withColumn('_id', F.monotonically_increasing_id())
df = df.where(F.col('_id').between(offset, offset + limit))

即使对于大量数据，它也足够灵活和快速。