apache-spark - 在 toree 中安装 spark 包-6ren

apache-spark - 在 toree 中安装 spark 包

转载作者：行者123 更新时间：2023-12-04 22:10:37

31

4

我通常用以下命令启动我的 spark-shell:

./bin/spark-shell --packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1

我现在正在尝试使用 Apache Toree，知道如何在笔记本上加载这些库吗？

我尝试了以下方法:

jupyter toree install --user --spark_home=/home/eron/spark-1.6.1/ --spark_opts="--packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1"

但这似乎不起作用

最佳答案

您可以在 SPARK_OPTS 环境变量中指定包:

export SPARK_OPTS='--packages com.databricks:spark-csv_2.10:1.4.0'

修改 spark-defaults.conf 也有效:

echo spark.jars.packages=com.databricks:spark-csv_2.10:1.4.0 | sudo tee -a $SPARK_HOME/conf/spark-defaults.conf

关于apache-spark - 在 toree 中安装 spark 包，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37324574/

31

4

0

文章推荐： gitlab - 一个CI构建可以使用多个gitlab运行程序吗？

文章推荐： dicom - 生成DICOMDIR的工具/脚本

文章推荐： php - zend_mm_heap 错误与 simple_html_dom

linux - 安装 CPAN 模块而不弄乱系统 Perl 安装
我听说最好不要从您系统的 Perl 版本所在的 CPAN 安装模块。我知道如何使用命令行安装模块，我只是想知道是否有办法将 CPAN 与系统核心 Perl 分开。我应该: 下载源代码并专门为这些模块
linux - 安装 CPAN 模块而不打乱系统 Perl 安装
我听说最好不要从系统的 Perl 版本所在的 CPAN 安装模块。我知道如何使用命令行安装模块，我只是想知道是否有办法将 CPAN 与系统的核心 Perl 分开。我应该: 下载源代码并专门为这些模块
javascript - 安装 electron vs 安装 electron-builder
单独安装 electron 与通过 electron-builder 安装有什么区别？我正在使用 React 构建一个 Electron 应用程序，并且已经找到了一些教程。它们安装 Electron
javascript - 安装 webpack VS 安装 webpack-cli？
两者安装有什么区别？我按照安装页面上的说明在全局范围内安装了 webpack，然后我转到了入门指南，据说在那里可以在本地安装 webpack-cli。 CLI = Command Line Inter
php - OS X 安装 libcurl/Solr 安装
我在 OS X Yosemite 上用 PHP 安装了默认的 Apache 服务器，安装了 pear，用 brew 安装了 Solr (brew install solr)，现在我正在尝试使用 PEC
ruby - 安装 OpenSSL Support 用于自编译的 Ruby 安装
我解压并编译了 Ruby 2.1 并安装了几个支持工具。但是当我安装了 libssl-dev 时，OpenSSL 不会安装。我在支持 openssl 时遇到这个错误: make: *** No r
android - 应用程序未使用 apk 安装，但通过 android studio 安装
我在 android studio 2.3.1 和 gradle 3.2 中设计了 2 到 3 个应用程序。当我从它运行应用程序到任何设备或模拟器时，一切都工作正常。但是当我从构建文件夹中获取该 ap
python - apt-get 安装 python 文件还是 pip 安装？
我注意到我正在读一本书提到通过 apt-get 安装 numpy 和 opencv apt-get install python-numpy python-opencv 但我可以通过以下方式在 pip
python - Ansicon 不能从 python 安装，只能从 cmd 安装
我正在尝试在 Windows 8.1 上安装 ansicon。我提取了文件并达到了我需要调用 ansicon -i 的级别。当我在 cmd 中输入此内容并运行 python 脚本时效果很好，但是当我通
通过 PPA 安装 FFMPEG 后 FFMPEG 安装/启用 'libfdk_aac'
我有 linux MINT 17.3 Kernel 4.4.0-81 所有更新可用。 (由于不同的原因，我无法迁移到更新版本的 ubuntu/mint) 我已经通过 PPA 安装了 FFMPEG(不是
firebase - 安装 : Could not process request. 应用程序脱机。 (安装/应用程序离线)Firebase 错误
尝试在本地运行我的应用程序时出现错误: 我只在 chrome 浏览器中收到此错误。我尝试过不同的东西，但我不确定为什么它是 Chrome 特定的。最佳答案我怀疑这不是 Firebase 问题，而是
angularjs - Yeoman Bower 安装 vs npm 安装 vs grunt
这是我第一次开发 AngularJS 应用程序并使用脚手架工具 Yeoman ( http://yeoman.io/ )。我想对我的一些图标使用 fontawesome ( http://fortaw
python - 为什么 brew 安装 python 包而不是 pip 安装(反之亦然)？
我知道您通常“应该”$ pip install 如果包没有 brew ，但如果有一个你想安装的 python 包，你可以使用 $ pip install或 $ brew install为了？例如，通过
ruby - 使用 RVM 安装 Ruby 时出错(安装 RubyGems 失败)
我正在尝试通过 RVM 安装 Ruby 1.9.3。然而，当谈到安装 RubyGems 时，我得到了这个: curl: (22) The requested URL returned error: 4
ubuntu - 安装 Podman DNSname - 安装 : cannot stat 'bin/dnsname' : No such file or directory
我是真正提出问题的新手，但你去吧。我一直在尝试按照安装指南添加 dnsname: https://github.com/containers/dnsname https://github.com/c
android - 需要Gradle 1.8版；安装;必须使用Gradle 1.9版；安装;重复
Studio更新至0.4.0 建筑产量为“需要1.8版Gradle”；将设置设置为1.8 bin目录；建立 “要求1.9级”；将设置设置为1.9 bin; 建立 “要求1.8级” 啊。不知道该怎么做
git - 安装 git 的替代源。 brew 安装 git； kernel.org 停机维护
我刚刚注意到 kernel.org 因维护而停机。是否有使用不同镜子的不同公式？或者我可以向 Homebrew 软件添加不同的来源(如 bundler ？)？谢谢你的帮助! 最佳答案快速解决方法:
php - Windows 通过 PEAR 安装 PHPUnit - 通过 PEAR 安装 PHPUnit
当我运行时: peardev install phpunit/PHPUnit 我得到以下信息: No releases available for package "pear.phpunit.de/P
linux - Fedora 24(64 位)Git 安装(perl-devel、ParseXs 安装)
服务器操作系统为Fedora 24. 64bit。我想安装 Git 2.6.6。所以下载源码并安装。此服务器离线。所以我不使用“yum”。 ./configure --prefix=/usr/l
linux - 安装 insights 时出错(安装 bower){ OpenEdX，Ubuntu Server 12.04 }
我正在尝试在我自己的服务器(操作系统:Linux Ubuntu Server 12.04)上安装 OpenEdX，但我遇到了同样的错误。谁能帮帮我？ TASK: [ insights | insta

首页

博学

6Ren·AI

商城

apache-spark - 在 toree 中安装 spark 包