apache-spark - 如何使用 nohup 从文件中执行 spark-shell？

Question

我有一个 scala 脚本文件，它以经典的方式通过交互式 spark-shell 成功执行:键入 spark-shell，粘贴脚本，等待完成。

我希望能够让这件事继续工作并退出 ssh session ，在需要时返回结果。

我试过这个，它的行为很奇怪

spark-shell -i file.scala >> out.log 2>&1 &

它只向 out.log 打印几行通常的 spark 输出，然后报告进程已经结束。当我做 'ps aux | 时grep spark' 我看到进程之间有 Spark 在运行。

当我运行它时，它的行为符合预期，但我必须让 session 保持打开状态才能获得我的结果。

spark-shell -i file.scala

有没有办法让 spark-shell 与 nohup 一起正常工作？

我知道有使用 jar 的 spark-submit ，但感觉不太直观，对于一个简单的测试，我必须组装一个 jar 并做 maven 魔术。

Answer 1

我遇到了与 spark-shell 相同的行为与 nohup .这背后的原因尚不清楚，但可以使用 tmux而不是 nohup作为解决方法。关于如何使用的非常好的指南 tmux可以找到 here .

可能的操作集如下:

$ tmux new -s session-name
$ ./bin/spark-shell
# do usual stuff manually

那么如果你关闭终端窗口并退出ssh session ，你可以重新输入 tmux像这样的 session :

$ tmux attach -t session-name