包含索引、数据和 bloom 文件的 Hadoop seq 目录—

包含索引、数据和 bloom 文件的 Hadoop seq 目录——如何读取？

转载作者：可可西里更新时间：2023-11-01 15:40:17

27

4

Hadoop 新手...我有一系列 HDFS 目录，命名约定为 filename.seq。每个目录包含一个索引、数据和 bloom 文件。这些具有二进制内容并且似乎是 SequenceFiles(SEQ 开始标题)。我想知道结构/模式。我阅读的所有内容都是指阅读单个序列文件，所以我不确定如何阅读这些文件或它们是如何生成的。谢谢。

更新:我已经尝试过推荐的工具来流式传输和输出文件上的文本，但都没有用:

hadoop fs -text /path/to/hdfs-filename.seq/data | head

hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.0.0-mr1-cdh4.1.2.jar \
-input /path/to/hdfs-filename.seq/data \
-output /tmp/outputfile \
-mapper "/bin/cat" \
-reducer "/bin/wc -l" \
-inputformat SequenceFileAsTextInputFormat

错误是:

ERROR streaming.StreamJob: Job not successful. Error: NA

最佳答案

SEQ header 确认了 hadoop 序列文件。 (我从未见过的一件事是你提到的 bloom 文件。)

典型序列文件的结构/模式是:

Header(版本、键类、值类、压缩、压缩代码、元数据)
记录
记录长度
key 长度
关键值(value)
每隔大约 100 个字节一个同步标记。

更多详情:

查看说明 here .
Sequence file reader和 How to read hadoop sequential file?

关于包含索引、数据和 bloom 文件的 Hadoop seq 目录——如何读取？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16780387/

27

4

0

文章推荐： hadoop - 水槽代理抛出调试，可能是什么问题？

文章推荐： c++ - boost 私有(private)成员的互斥奇怪错误

文章推荐： c++ - 用自身的拷贝交换 vector

文章推荐： hadoop - 如何使文件的 hadoop 复制因子更改持久化

f# - 将字节序列转换为浮点序列 F# (seq -> seq)
我是 F# 的新手，目前想知道如何将序列的字节序列转换为序列的浮点序列 seq -> seq 所以我有以下字节序列 let colourList = seq[ seq[10uy;20uy;30uy];
Scala:Seq[T] 元素的功能聚合 => Seq[Seq[T]](保留顺序)
我想在一个序列中聚合兼容的元素，即转换 Seq[T]成Seq[Seq[T]]其中每个子序列中的元素彼此兼容，同时保留原始 seq 顺序，例如从 case class X(i: Int, n: Int)
f# - 需要返回 seq 而不是 seq> 吗？
以下函数files返回seq> 。如何让它返回seq相反？ type R = { .... } let files = seqOfStrs |> Seq.choose(fun s -> mat
scala - 将 Map[String, Seq[Int]] 转换为 Seq[Seq[Int]]
我正在尝试转换如下所示的数据: val inputData = Seq(("STUDY1", "Follow-up", 1), ("STUDY1", "Off Study", 2),
scala - 将 Seq[Either[String, Int]] 转换为 (Seq[String], Seq[Int]) 的有效和/或惯用方法
稍微简化一下，我的问题来自字符串列表 input我想用函数解析 parse返回 Either[String,Int] . 然后list.map(parse)返回 Either 的列表s。程序的下一步是
scala - 为什么如果 V < : Seq[Int] when V is a Seq descendant map and zip operations return a Seq[Int]
如标题中所述，我不明白为什么这些函数无法编译并要求 Seq。 def f1[V a + b } error: type mismatch; found : Seq[Int] required:
akka-stream - 如何将 Flow[T, Seq[Seq[String]], NotUsed] 展平为 Flow[T, Seq[String], NotUsed]
我有一个类型为 Flow[T, Seq[Seq[String]], NotUsed] 的流。我想以示例流的方式将其展平 ev1: Seq(Seq("a", "b"), Seq("n", "m") e
Scala Parallel Seq 不符合 Seq
我对 Scala 比较陌生，但我想我理解它的类型系统和并行集合，但我无法理解这个错误: 我有一个函数 def myFun(a : Seq[MyType], b : OtherType) : Seq[M
f# - Seq.where 与 Seq.groupBy
在学习 F# 时，我正在做一个小挑战: Enter a string and the program counts the number of vowels in the text. For adde
clojure - seq 和 seq 和有什么不一样？
------------------------- clojure.core/seq ([coll]) Returns a seq on the collection. If the collec
f# - 哪些区别 "Seq"和 "seq"？
我担心不知道什么时候可以使用 "Seq"， "seq"。你能告诉我有哪些不同之处吗？这是我的代码。为什么不使用“seq”？ let s = ResizeArray() s.Add(1.1) s
scala - 如何使用直到循环将不可变的 Seq 转换为可变的 seq
我试图返回一个带有直到循环的可变序列，但我有一个不可变的序列作为 (0 until nbGenomes) 的返回: def generateRandomGenome(nbGenomes:Int):
raku - 将 Seq(Seq) 分配到数组中
将 Seq(Seq) 分配到多个类型化数组而不先将 Seq 分配给标量的正确语法是什么？ Seq 是否会以某种方式变平？这失败了: class A { has Int $.r } my A (@ra1
python - seq-to-seq LSTM 在低频简单正弦波上的性能不佳
我正在尝试训练序列到序列一个简单的正弦波模型。目标是获得Nin数据点和预测 Nout下一个数据点。任务看起来很简单，模型对大频率的预测很好 freq (y = sin(freq * x))。例如，
javascript - 如何使用 Seq 将变量传递到下一个 .seq？
我正在努力重构一些使用 Seq 的 Node.js 代码，以及文档和 this answer ，我知道我使用 this() 转到下一个 .seq()，但是如何将变量传递给下一个 .seq( )的功能？
F# 将一个 seq 映射到另一个长度较短的 seq
我有一个像这样的字符串序列(文件中的行) [20150101] error a details 1 details 2 [20150101] error b details [20150101] er
assign - seq 赋值会创建一个新的 seq 副本吗？
给定两个序列 a 和 b，声明如下: var a = @[1, 2, 3] b = @[4, 5, 6] a = b 会创建一个新的 seq 将所有内容从 b 复制到 a 还是重用 a？我有特
F# Seq.head & Seq.tail 类型与自定义类型不匹配
type Suit = Spades | Clubs | Hearts | Diamonds type Rank = Ace | Two | Three | Four | Five | Six | S
f# - 合并/加入 seq 的 seq
慢慢地掌握列表匹配和尾递归的窍门，我需要一个函数将列表“缝合”在一起，去掉中间值(更容易显示而不是解释): 合并 [[1;2;3];[3;4;5];[5;6;7]]//-> [1;2;3;4;5;6;
f# - Seq seq 类型作为 F# 中的成员参数
为什么这段代码不起作用？ type Test() = static member func (a: seq) = 5. let a = [[4.]] Test.func(a) 它给出以下错误: T

首页

博学

6Ren·AI

商城

包含索引、数据和 bloom 文件的 Hadoop seq 目录——如何读取？