- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我编译了最新的 spring-xd 因为我需要 CDH 支持。我能够启动服务器,但是当我通过 xd-shell 连接到服务器时,我尝试更改“配置”。这也是一个 kerberized 集群,我不确定 xd 将如何处理它。
第一种情况:
testdomain
:10111xd:>hadoop fs ls
-ls: Fatal internal error
java.lang.RuntimeException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:128)
at org.apache.hadoop.security.Groups.<init>(Groups.java:55)
at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:182)
at org.apache.hadoop.security.UserGroupInformation.initUGI(UserGroupInformation.java:252)
at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:223)
at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:214)
at org.apache.hadoop.security.UserGroupInformation.isSecurityEnabled(UserGroupInformation.java:277)
at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:668)
at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:573)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2428)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2420)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2288)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:316)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:162)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:300)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:194)
at org.apache.hadoop.fs.shell.PathData.expandAsGlob(PathData.java:270)
at org.apache.hadoop.fs.shell.Command.expandArgument(Command.java:224)
at org.apache.hadoop.fs.shell.Command.expandArguments(Command.java:207)
at org.apache.hadoop.fs.shell.Command.processRawArguments(Command.java:190)
at org.apache.hadoop.fs.shell.Command.run(Command.java:154)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:254)
at org.springframework.xd.shell.hadoop.FsShellCommands.run(FsShellCommands.java:412)
at org.springframework.xd.shell.hadoop.FsShellCommands.runCommand(FsShellCommands.java:407)
at org.springframework.xd.shell.hadoop.FsShellCommands.ls(FsShellCommands.java:110)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at org.springframework.util.ReflectionUtils.invokeMethod(ReflectionUtils.java:191)
at org.springframework.shell.core.SimpleExecutionStrategy.invoke(SimpleExecutionStrategy.java:64)
at org.springframework.shell.core.SimpleExecutionStrategy.execute(SimpleExecutionStrategy.java:48)
at org.springframework.shell.core.AbstractShell.executeCommand(AbstractShell.java:127)
at org.springframework.shell.core.JLineShell.promptLoop(JLineShell.java:483)
at org.springframework.shell.core.JLineShell.run(JLineShell.java:157)
at java.lang.Thread.run(Thread.java:679)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:532)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:126)
... 35 more
Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.JniBasedUnixGroupsMapping
at org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback.<init>(JniBasedUnixGroupsMappingWithFallback.java:38)
... 40 more
第二种情况
或者我删除一些 java opts
运行前面场景中的步骤 1、2
然后
下方错误
16:50:29,682 WARN Spring Shell util.NativeCodeLoader:62 - 无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类ls:授权(hadoop.security.authorization)已启用,但身份验证(hadoop.security.authentication)配置为简单。请配置其他方法,例如 kerberos 或摘要。
感谢您的帮助 - 迫不及待地想让它正常工作!
最佳答案
感谢您提出这个问题 - 我们已经有一段时间没有在 shell 中使用授权/身份验证进行测试了 - 虽然它是作为项目 https://github.com/vmware-serengeti/serengeti-ws 的一部分进行测试的
您是否能够使用标准的 hadoop 文件系统 shell 执行操作。例如
hdfs dfs -ls /user/hadoop/file1
关于hadoop - "Spring XD"xd-shell无法运行hadoop fs ls命令,命令返回java异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19258321/
如果我将 adobe xd 文档放置在本地计算机上的任何位置。 示例:C:\doc\adobe-xd\brand\brand.xd 打开它并运行插件 是否可以检索 adobe xd 文档位置。 P.S
有没有办法在启动新的 spring xd 实例时启动一组已定义的 Steam 和水龙头? 场景是这样的:我们已经在我们的开发系统上做了一些原型(prototype)设计,但是现在我们想构建它并将其发布
我正在分布式 YARN 设置上运行 spring XD。我正在使用具有 6 个数据节点和 1 个名称节点的 hortonworks 数据平台。并使用名称节点作为客户端节点。我已从名称节点调用 xd S
我需要定义来自多个源的多个流,然后将它们合并为一个。在阅读了 Spring XD 的整个文档后,我没有找到任何可以执行连接的预定义模块(例如基于滑动窗口)。有什么解决办法吗?谢谢。 最佳答案 可以使用
我已经成功地让 Spring Xd 适用于一种场景,其中我的数据来自一个 JMS 代理。我可能面临这样一种情况:数据摄取可能来自不同的来源,因此需要我连接到不同的代理。根据我目前的理解,我不太确定如何
我是 spring-xd 的新手,想了解是否可以从 springxd 调用外部 Rest api。我的其余 api 需要 GET 请求的 request header 和 POST 请求的请求 hea
我编译了最新的 spring-xd 因为我需要 CDH 支持。我能够启动服务器,但是当我通过 xd-shell 连接到服务器时,我尝试更改“配置”。这也是一个 kerberized 集群,我不确定 x
有没有使用纯java配置(没有xml)的spring xd的例子。 我创建了一个简单的tasklet,将其放入相同的(whojob.jar)并将其放入lib 文件夹中。 xml配置如下。我把它放在一个
我们有一个小型的关键hadoop集群,在该集群中,我们使用spring-xd作为数据提取工具。 尝试过: 当从spring xd-admin机器执行以下命令时: [root@host ~]# serv
我有一个 spring-xd 处理器模块,它依赖于使用 spring-data-jpa 的项目: xd-processor 模块的 pom.xml: org.test.co
我想在处理完文件中的所有行后删除该文件。我的流看起来像 source (file --fixedDelay=0 --outputType=text/plain --dir=XXX) | spl
我们需要使用 HDFS sink 在 HDFS 中存储一些数据。创建流定义时,我可以使用“目录”属性来指定我们要保存文件的 hdfs 目录。但是,在我们的用例中,我们希望目录是基于时间戳的动态目录。我
当我和我的一个 friend 一起玩 fork() 时,我遇到了这个奇怪的问题。非常简单的 POC 代码喜欢: int main(int argc, char** argv) { int i
我正在使用 Facebook 连接登录我的网站。 在我的 html 页面中,我编写了代码: Test JOpenID
我们正在构建一个 M2M 物联网平台,生态系统的一部分是大数据存储和分析组件。 该平台在一端连接设备,并使用 ActiveMQ 提供流式数据输出,以与大数据应用层接口(interface)。 我现在正
因此,我正在关注本书,这是Jason Bell编写的面向开发人员的机器学习手册。在我不得不将spring-xd流连接到hadoop之前,我在本书中走得很远。我正在运行spring-xd 1.2.1,并
我是Spring-XD的新手,只有基本的想法,那就是它有助于将大量数据作为文件存储在hadoop中。我想开发我的应用程序,以使用Spring-XD来存储进入套接字的数据。 这可能吗 ? 如果是的话,谁
如何在 1 个模块中转换和路由消息。 我创建了一个这样的模块: xd-ta-core.xml XdTaCore.java public Even
我正在尝试构建 XD 插件并希望从远程服务器检索图像。这可能吗?如果可以,我可以使用哪些 API? 最佳答案 当然! Adobe XD 插件环境提供符合标准的 XMLHttpRequest 实现, W
我想在运行时更改文件源的配置。从我在文档和源定义中看到的,目录是静态定义的(即没有表达式),请参见 the bean definition . 我知道使用普通的 Spring Integration
我是一名优秀的程序员,十分优秀!