- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我有一个问题可以通过“typedbytes”或“rawbytes”模式下的 Hadoop Streaming 解决,它允许用 Java 以外的语言分析二进制数据。 (如果没有这个,Streaming 会将一些字符(通常是\t 和\n)解释为分隔符并提示非 utf-8 字符。将我所有的二进制数据转换为 Base64 会减慢工作流程,从而达不到目的。)
这些二进制模式是由 HADOOP-1722 添加的.在调用 Hadoop Streaming 作业的命令行上,“-io rawbytes”让您将数据定义为 32 位整数大小,后跟该大小的原始数据,“-io typedbytes”让您将数据定义为 1 - 位零(这意味着原始字节),后跟 32 位整数大小,然后是该大小的原始数据。我已经创建了这些格式的文件(带有一条或多条记录),并通过检查/对照 typedbytes.py 的输出来验证它们的格式是否正确.我还尝试了所有可能的变体(大端、小端、不同的字节偏移等)。我正在使用 Hadoop 0.20 from CDH4 ,它具有实现 typedbytes 处理的类,并且在设置“-io”开关时进入这些类。
我使用“hadoop fs -copyFromLocal”将二进制文件复制到 HDFS。当我尝试将它用作 map-reduce 作业的输入时,它失败并在它尝试生成我指定长度(例如 3 个字节)的字节数组的行上出现 OutOfMemoryError。它一定是错误地读取了数字并尝试分配一个巨大的 block 。尽管如此,它确实设法向映射器获取记录(之前的记录?不确定),映射器将其写入标准错误以便我可以看到它。记录的开头总是有太多字节:例如,如果文件是“\x00\x00\x00\x00\x03hey”,映射器会看到“\x04\x00\x00\x00\x00\x00\x00\x00\x00\x07\x00\x00\x00\x08\x00\x00\x00\x00\x03hey”(可重现的位,虽然我看不到任何模式)。
来自 this talk 的第 5 页,我了解到有流式传输的“loadtb”和“dumptb”子命令,它们一步到位地复制到/从 HDFS 并将键入的字节包装/解包到 SequenceFile 中。当与“-inputformat org.apache.hadoop.mapred.SequenceFileAsBinaryInputFormat”一起使用时,Hadoop 正确解压缩了 SequenceFile,但随后以完全相同的方式误解了其中包含的类型字节。
此外,我找不到有关此功能的文档。 2 月 7 日(我通过电子邮件发送给自己),它在 streaming.html page on Apache 中被简要提及。 , 但此 r0.21.0 网页已被删除并且 the equivalent page for r1.1.1没有提到 rawbytes 或 typedbytes。
所以我的问题是:在 Hadoop Streaming 中使用 rawbytes 或 typedbytes 的正确方法是什么?有没有人让它工作?如果是这样,有人可以张贴食谱吗?对于任何想在 Hadoop Streaming 中使用二进制数据的人来说,这似乎都是一个问题,这应该是一个相当广泛的群体。
附言我注意到 Dumbo , Hadoopy , 和 rmr所有人都使用此功能,但应该有一种方法可以直接使用它,而无需通过基于 Python 或基于 R 的框架进行中介。
最佳答案
好的,我找到了一个有效的组合,但它很奇怪。
按照 documentation 在本地文件系统中准备一个有效的 typedbytes 文件或者通过模仿 typedbytes.py .
使用
hadoop jar path/to/streaming.jar loadtb path/on/HDFS.sequencefile < local/typedbytes.tb
将 typedbytes 包装在一个 SequenceFile 中,并一步将其放入 HDFS。
使用
hadoop jar path/to/streaming.jar -inputformat org.apache.hadoop.mapred.SequenceFileAsBinaryInputFormat ...
运行 map-reduce 作业,其中映射器从 SequenceFile 获取输入。请注意,-io typedbytes
或 -D stream.map.input=typedbytes
应该不被使用——明确要求 typedbytes 会导致我在问题中描述的误解。但不要担心:Hadoop Streaming 在其二进制记录边界上而不是在其“\n”字符上拆分输入。数据作为“原始数据”到达映射器,由“\t”和“\n”分隔,如下所示:
如果你想另外将原始数据从 mapper 发送到 reducer,添加
-D stream.map.output=typedbytes -D stream.reduce.input=typedbytes
到您的 Hadoop 命令行并将映射器的输出和缩减器的预期输入格式化为有效的类型字节。它们还交替使用键值对,但这次使用类型字符,不使用 '\t' 和 '\n'。 Hadoop Streaming 在二进制记录边界上正确拆分这些对,并按键分组。
我能找到的关于 stream.map.output
和 stream.reduce.input
的唯一文档是在 HADOOP-1722 中。 exchange,从 2009 年 2 月 6 日开始。(之前的讨论考虑了一种不同的格式参数化方式。)
本节不为输入提供强类型:在创建 SequenceFile 并使用 -inputformat
解释它的过程中,类型字符会丢失。但是,它确实提供了二进制记录边界的拆分,而不是 '\n',这是非常重要的,并且在映射器和缩减器之间提供了强类型。
关于hadoop - 如何在 Hadoop Streaming 中使用 "typedbytes"或 "rawbytes"?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15171514/
我正在尝试实现具有以下签名的方法: public static Pair, Stream> flatten(Iterator, Stream>> iterator); 该方法的目标是将每种流类型展平
我有两个流从两个不同的 api 获取。 Stream get monthOutStream => monthOutController.stream; Stream get resultOutStre
Stream.of(int[])返回 Stream ,而 Stream.of(String[])返回 Stream . 为什么这两种方法的行为不同?两者都应该返回 Stream和 Stream或 St
我正在使用 rxdart在 dart 中处理流的包。我被困在处理一个特殊的问题上。 请看一下这个虚拟代码: final userId = BehaviorSubject(); Stream getSt
我到处都找遍了,还是没弄明白。我知道你可以用流建立两个关联: 用于支持数据存储的包装器意味着作为消费者和供应商之间的抽象层 数据随着时间的推移变得可用,而不是一次全部 SIMD 代表单指令,多数据;在
考虑下面的代码: List l=new ArrayList<>(); l.add(23);l.add(45);l.add(90); Stream str=l.stream
我有一个大型主干/requirejs 应用程序,我想迁移到 webpack,最新的“webpack”:“^4.27.1”,但我遇到了一个我无法解决的错误。 我一直在阅读 https://webpack
我正在使用 xmpp 开发聊天应用程序,根据我们的要求,我们有三台服务器 Apache Tomcat 7、ejabbered 2.1.11 和 mysql 5.5, to run xmppbot on
我知道如何使用 Java 库,并且我可以编写一些循环来执行我需要的操作,但问题更多,为什么 scala.collection.JavaConverters 中没有任何内容或scala.collecti
我正在尝试创建一个单一的衬里,它应该计算一个非常长的文本文件中的唯一单词。独特的词例如:márya fëdorovna scarlet-liveried,...所以基本上都是非英语词。 我的问题是我的
如果我有以下情况: StreamWriter MySW = null; try { Stream MyStream = new FileStream("asdf.txt"); MySW =
有人可以帮我将以下语句转换为 Java8: 我有一个像这样的 HashMap : private Map, List>> someMap; 我想在java8中转换以下逻辑: private Strin
有人可以帮我将以下语句转换为 Java8: 我有一个像这样的 HashMap : private Map, List>> someMap; 我想在java8中转换以下逻辑: private Strin
考虑两种测试方法parallel()和sequential(): @Test public void parallel() throws Exception { System.ou
我是 NodeJS 的新手,我基本上想做的是通过 HTTP 将 .pdf 上传到我的服务器。我正在使用 POST rquest 来处理 Content-Type multipart/form-data
哪个更好:MemoryStream.WriteTo(Stream destinationStream) 或 Stream.CopyTo(Stream destinationStream)?? 我正在谈
给定一个 Stream,我想创建一个新的 Stream,其中的元素在它们之间有时间延迟。 我尝试使用 tokio_core::reactor::Timeout 和 Stream 的 and_then
我是 Kafka Streams 和 Spring Cloud Stream 的新手,但在将集成相关代码移动到属性文件方面已经阅读了有关它的好东西,因此开发人员可以主要专注于事物的业务逻辑方面。 这里
源代码看起来非常相似:pump , pipe .为什么我要使用一个而不是另一个?一个只是另一个的更好版本吗? 最佳答案 Stream.pipe 现在显然是自 0.3.x 以来的首选方法,因此尽可能尝试
我正在寻找是否有更好的方法来解决我不得不使用这些签名的困境(注意:由于 Spock 测试,T[][] 是必需的,我提供 T[][] 作为数据提供商) 我的方法签名是: public T[][] cr
我是一名优秀的程序员,十分优秀!