scala - 在 spark shell 中运行脚本时避免打印代码

Question

我正在尝试使用 scala 文件中的脚本从 spark shell 连接到数据库。当连接脚本时从其他位置获取密码但它确实在 spark shell 的控制台中打印。我只想避免这些。

Scala 代码如下，

val config=Map("driver"->"drivername","url"->"dburl","user"->"username","password"->"741852963");

在 spark shell 中加载此代码时，也会在 spark shell 中打印代码。我希望这些单独的一部分不在 spark 控制台中打印。

我怎样才能做到这一点？

Answer 1

您有几种方法可以实现这一目标:

• 您可以将您的配置定义包装在一个对象中。 Spark shell 只会输出一个对象已定义

scala> object ConfigHolder {
     | val config=Map("secret"->"value")
     | }
defined object ConfigHolder

然后您可以简单地将您的配置引用为 ConfigHolder.config 而不是 config

• 您可以使用 :silent 命令在 shell 中禁用/重新启用输出打印

scala> :silent

scala> val config=Map("secret"->"value")

scala> :silent

当然，这些操作都不能阻止任何有权访问 spark shell 的人读取您的凭据，它只是防止不经意的旁观者看到它们。