gpt4 book ai didi

amazon-web-services - 在 EMR 上使用笔记本时如何在 PySpark 中包含包?

转载 作者:行者123 更新时间:2023-12-02 00:53:56 27 4
gpt4 key购买 nike

我目前正在尝试使用 EMR 使用笔记本分析一些数据。我遇到的问题是,当我使用 PySpark 内核时,我无法弄清楚如何包含特定的工件。具体来说,我试图通过简单地使用 --packages争论。我是否必须包含 Bootstrap 操作?我不完全确定我会在那里放什么。非常感激任何的帮助。

最佳答案

我在 reddit 上提问,EMR 团队的某个人回答说:

您可以使用 %%configure块作为笔记本中的第一个单元格以指定其他包。在你的情况下,这看起来像这样:

%%configure
{ "conf": {"spark.jars.packages": "org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0" }}

这是 example notebook 的屏幕截图加载 spark-avro。

(免责声明:EMR 团队的 AWS 员工👋)

关于amazon-web-services - 在 EMR 上使用笔记本时如何在 PySpark 中包含包?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55679164/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com