gpt4 book ai didi

apache-spark - 如何在hadoop服务器中查找已安装的库?

转载 作者:行者123 更新时间:2023-12-02 20:40:23 25 4
gpt4 key购买 nike

我目前正在使用hadoop服务器。现在,我必须使用keras,Tensorflow等库训练神经网络。我知道已经安装了spark库。我只想检查hadoop服务器上是否还安装了其他库。我们公司在远程位置拥有自己的hadoop服务器。不允许安装任何新库,并且必须与现有库一起使用。您能否让我知道如何检查hadoop服务器中是否已安装任何库?

最佳答案

Hadoop不是单个服务器,实际上您需要检查所有库的YARN NodeManager的的任何库,因为Spark就是在这里运行的。在大型集群中,这并非易事...

提交Spark作业时,可以自由添加自己的--files--archives,以将任何依赖项引入到类路径中。这些标志会将文件本地复制到您的Spark执行空间中,从而覆盖集群中已经存在的内容。

默认情况下,Spark仅使用任何内置类,这些内置类通常包含在存档文件中。您将需要检查您的Spark配置文件以确定其位置,然后从HDFS下载它,然后将其提取以确定任何可用的库。

或者,您询问集群管理员安装了哪个版本的Spark,以及是否添加了任何其他库(通常,答案是没有)。使用版本信息,自己下载Spark并检查其内容

关于apache-spark - 如何在hadoop服务器中查找已安装的库?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49860363/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com