python - Databricks (Spark) : . egg 依赖项没有自动安装？

Question

我有一个本地创建的 .egg 包，它依赖于 boto==2.38.0。 我使用 setuptools 来创建构建分发。一切都在我自己的本地环境中工作，因为它从 PiP 正确获取 boto。但是，在 databricks 上，当我将库附加到集群时，它不会自动获取依赖项。

我现在真的挣扎了几天试图在数据 block 上加载时自动安装依赖项，我使用 setuptools; 'install_requires=['boto==2.38.0']' 是相关字段。

当我在 databricks 服务器上直接从 PyPi 安装 boto 时(所以不依赖于 install_requires 字段正常工作)然后调用我自己的 .egg，它确实识别 boto 是一个包，但它不识别它的任何模块(因为它没有被导入在我自己的 .egg 命名空间上？？？)。所以我无法让我的 .egg 工作。如果这个问题仍然存在而没有任何解决方案，我认为这对 databricks 用户来说是一个非常大的问题。当然应该有一个解决方案......

谢谢!

Answer 1

如果您的应用程序的依赖项多种多样并且没有统一的语言支持，那么您的应用程序的依赖项通常将无法正常工作。 Databrick docs解释一下

Databricks will install the correct version if the library supports both Python 2 and 3. If the library does not support Python 3 then library attachment will fail with an error.

在这种情况下，当您将库附加到集群时，它不会自动获取依赖项。