java - Spark : print dataframe in Java

Question

我想知道Java中的display(df)等价于什么？

我希望结果作为字符串稍后保存在日志文件中。因此，show 将不起作用，因为它只是打印到控制台。

Answer 1

如果您希望将 df.show() 输出为字符串，则应使用 df.showString() 方法。我不知道为什么这个方法没有在文档中，但它有效，你可以在这里看到更多细节: https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala

查看示例:

Dataset<Row> df = spark.read()
                .csv("iris.csv")
                .toDF("sepal.length","sepal.width","petal.length","petal.width","variety");


System.out.println(df.showString(3, 0, true));

-RECORD 0--------------
 sepal.length | 5.1    
 sepal.width  | 3.5    
 petal.length | 1.4    
 petal.width  | 0.2    
 variety      | setosa 
-RECORD 1--------------
 sepal.length | 4.9    
 sepal.width  | 3      
 petal.length | 1.4    
 petal.width  | 0.2    
 variety      | setosa 
-RECORD 2--------------
 sepal.length | 4.7    
 sepal.width  | 3.2    
 petal.length | 1.3    
 petal.width  | 0.2    
 variety      | setosa 
 only showing top 3 rows

System.out.println(df.showString(3,1,false));

+------------+-----------+------------+-----------+-------+
|sepal.length|sepal.width|petal.length|petal.width|variety|
+------------+-----------+------------+-----------+-------+
|           5|          3|           1|          0|      s|
|           4|          3|           1|          0|      s|
|           4|          3|           1|          0|      s|
+------------+-----------+------------+-----------+-------+
only showing top 3 rows