sql - Spark sql 查询与数据帧函数

Question

使用 Spark 实现良好的性能。我想知道通过 SQLContext 使用 sql 查询是否好，或者通过 df.select() 这样的 DataFrame 函数进行查询是否更好。

有什么想法吗？ :)

Answer 1

没有任何性能差异。两种方法都使用完全相同的执行引擎和内部数据结构。归根结底，一切都取决于个人喜好。

• 可以说，DataFrame 查询更容易以编程方式构建，并提供最低限度的类型安全性。

• 普通 SQL 查询可以更加简洁且更易于理解。它们也是可移植的，无需任何修改即可用于每种支持的语言。通过 HiveContext，这些还可以用于公开一些通过其他方式无法访问的功能(例如没有 Spark 包装器的 UDF)。