gpt4 book ai didi

apache-spark - hadoop.dll,winutils.exe和在hadoop上构建的多个应用程序

转载 作者:行者123 更新时间:2023-12-02 19:13:35 24 4
gpt4 key购买 nike

在Windows 10操作系统上下载Spark并正确设置所有环境和系统变量时,我收到一条代码执行错误,指出“null / bin / winutils.exe不存在”。我通过下载winutils.exe解决了该问题,但想了解为什么下载winutils.exe可以解决此问题。

在安装Spark之前,我已经在机器上安装了Anaconda,据我所知,这是问题的根源(如果在本地内存上只有一个权限库,则在Hadoop上构建多个应用程序可能会导致该错误)。为什么多个应用程序不能使用相同的文件权限库运行?幕后的机器是什么?

最佳答案

wunutils允许将Hadoop的UNIX权限模型映射到Windows操作系统。

如果您只是从本地文件系统而不是HDFS中读取,Anaconda不需要任何此类功能

error that stated "null/bin/winutils.exe does not exist".



输出中存在null的事实表明某些设置不正确

关于apache-spark - hadoop.dll,winutils.exe和在hadoop上构建的多个应用程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60010020/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com