scala - 获取超过20行并在spark-shell中显示列的全部值

Question

我正在使用来自spark-shell的CassandraSQLContext从Cassandra查询数据。因此，我想知道两件事:一是如何使用CassandraSQLContext来获取20多个行，二是如何显示列的完整值。正如您在下面看到的，默认情况下，它会在字符串值中附加点。

代码:

val csc = new CassandraSQLContext(sc)
csc.setKeyspace("KeySpace")
val maxDF = csc.sql("SQL_QUERY" )
maxDF.show

输出:

+--------------------+--------------------+-----------------+--------------------+
|                  id|               Col2|              Col3|                Col4| 
+--------------------+--------------------+-----------------+--------------------+
|8wzloRMrGpf8Q3bbk...|             Value1|                 X|                  K1|
|AxRfoHDjV1Fk18OqS...|             Value2|                 Y|                  K2|
|FpMVRlaHsEOcHyDgy...|             Value3|                 Z|                  K3|
|HERt8eFLRtKkiZndy...|             Value4|                 U|                  K4|
|nWOcbbbm8ZOjUSNfY...|             Value5|                 V|                  K5|

Answer 1

如果要打印列的整个值，请在 scala 中，只需将参数truncate从show方法设置为false:

maxDf.show(false)

并且如果您希望显示20行以上:

// example showing 30 columns of 
// maxDf untruncated
maxDf.show(30, false) 

对于 pyspark ，您需要指定参数名称:

maxDF.show(truncate = False)