scala - 过滤器和scala spark sql中的where之间的区别

Question

我都试过了，但效果一样

例子

val items =  List(1, 2, 3)

使用过滤器

employees.filter($"emp_id".isin(items:_*)).show

使用哪里

employees.where($"emp_id".isin(items:_*)).show

两者的结果相同

+------+------+------+-------+------+-------+
|EMP_ID|F_NAME|SALARY|DEPT_ID|L_NAME|MANAGER|
+------+------+------+-------+------+-------+
|     6|    E6|  2000|      4|    L6|      2|
|     7|    E7|  3000|      4|    L7|      1|
|     8|    E8|  4000|      2|    L8|      2|
|     9|    E9|  1500|      2|    L9|      1|
|    10|   E10|  1000|      2|   L10|      1|
|     4|    E4|   400|      3|    L4|      1|
|     2|    E2|   200|      1|    L2|      1|
|     3|    E3|   700|      2|    L3|      2|
|     5|    E5|   300|      2|    L5|      2|
+------+------+------+-------+------+-------+

Answer 1

where documentation :

Filters rows using the given condition. This is an alias for filter.

filter只是此类函数的标准 Scala(以及一般的 FP)名称，而 where适用于喜欢 SQL 的人。