hadoop - hadoop grep命令-6ren

hadoop - hadoop grep命令

转载作者：行者123 更新时间：2023-12-02 22:06:22

34

4

谁能告诉我以下grep命令的作用:

 $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

最佳答案

http://wiki.apache.org/hadoop/Grep

Grep example extracts matching strings from text files and counts how many time they occured.

To run the example, type the following command:

bin/hadoop org.apache.hadoop.examples.Grep <indir> <outdir> <regex> [<group>]

The command works different than the Unix grep call: it doesn't display the complete matching line, but only the matching string, so in order to display lines matching "foo", use .foo. as a regular expression.

The program runs two map/reduce jobs in sequence. The first job counts how many times a matching string occured and the second job sorts matching strings by their frequency and stores the output in a single output file.

您是否在问正则表达式本身是什么？其余的似乎很简单。

关于hadoop - hadoop grep命令，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21265380/

34

4

0

文章推荐： angularjs - Angular UI 模式指令，背景缺失

文章推荐： javascript - DocumentReference 返回敏感数据 - Firestore

文章推荐： php - 如何确定函数是否不返回任何内容？

grep - 需要有关 grep 另一个 grep 命令输出的帮助
我有一个文件 test.log。非常大的日志文件。它有不同级别的日志记录。例如，trace , debug , info , warning和 error . 显然trace级别消息只是高速发送垃圾邮
UNIX grep 命令(grep -v grep)
我正在经历一些事情，发现了我无法理解的事情， grep -v grep 这意味着什么？我知道 -v 开关将选择所有不匹配的行。但为什么是第二个grep？这是完整的命令: ps -ef | grep
grep - grep 中的数字导致一行
我使用 egrep 输出一些带有平台名称的行: XXX | egrep "i686-nptl-linux-gnu$|i686-w64-mingw32$|x86_64-unknown-linux-gnu
grep - 'grep' 命令的退出状态码
grep退出状态部分报告中的手册: EXIT STATUS The exit status is 0 if selected lines are found, and 1 if not
grep - 需要对多个字符串的第一次出现进行 grep
我试图返回多个字符串的第一次出现，即，我想从以下文本中选择第一次出现 1259、3009 和 1589 的行。 ADWN 1259 11:00 B23 ADWN 3009
grep - grep 是什么风格的正则表达式？
我猜它不是 Perl 兼容的正则表达式，因为有一种特殊的 grep具体来说就是 PCRE。什么是grep最相似？ grep有什么特别的怪癖吗？我需要知道什么？ (我习惯了 Perl 和 PHP 中的
grep - grep 可以只显示与搜索模式匹配的单词吗？
有没有办法让 grep 从与搜索表达式匹配的文件中输出“单词”？如果我想在多个文件中查找“th”的所有实例，我可以这样做: grep "th" * 但是输出会是这样的(粗体是我写的)； some-t
grep - grep 允许搜索重复项吗？
我有许多(近 100 个)大 csv 文件，第一列中有 sellID。我知道某些 sellID 在 2 个或更多文件中重复 2 次或多次。是否可以使用 grep 找到所有重复的 sellID(创建映射
grep - 将文件列表传递给 grep
我有一个文件中的文件列表。该列表很大，并且文件名是非标准的:这意味着有些文件包含空格、非 ASCII 字符、引号、单引号... 因此，将庞大的文件列表作为参数传递给 grep 并不是一种选择: 因为我
grep - 使用带有两个变量的 grep
我想在 shell 脚本中使用 grep 和两个变量 var = match cat list.txt | while read word_from_list; do grep "$word_
grep - 基本 grep
我有一个大文件，其中每一行都包含一个子字符串，例如 ABC123。如果我执行 grep ABC file.txt 或 grep ABC1 file.txt 我按预期返回这些行，但如果我执行 grep
grep - grep 命令的奇怪行为
当我执行以下 grep 时，我得到的结果我无法向自己解释: host:/usr/local/tomcat > grep '-XX:PermSize=256m' * RELEASE-NOTES:
grep - 如何在具有特定扩展名的文件中递归 grep？
这个问题在这里已经有了答案: grep recursively for a specific file type on Linux (5 个回答) 关闭4年前。要在子目录中查找所有带有 .out 扩
grep - grep 自动忽略文件
有什么方法可以让我在搜索某些东西时使用 grep 忽略某些文件，相当于 svnignore 或 gitignore 的东西？我通常在搜索源代码时使用类似的东西。 grep -r something *
grep - grep 可以只显示匹配搜索模式的单词吗？
有没有办法让 grep 从匹配搜索表达式的文件中输出“单词”？如果我想在多个文件中找到“th”的所有实例，我可以这样做: grep "th" * 但是输出会是这样的(粗体是我的)； some-tex
bash - Grep $value `grep $value2 ` `` - 嵌套 grep？
我是 awk/sed 的完全菜鸟，所以如果我在这里遗漏了一些明显的东西，请原谅我。基本上我正在尝试做一个嵌套的 grep，即类似于: grep $value `exim -Mvh $(`exim -
grep - 管道 shasum 到 grep，但 grep 返回管道输入的所有行，即使是不匹配的
我正在尝试编写下载 node.js source 的脚本和 corresponding SHASUMS256.txt ，校验和，grep OK，不返回任何结果，使用 grep 的 -q 标志成功退出代
linux - grep "str"和 grep 之间有什么区别？和 grep "str"*
在 grep "str"* 这是否意味着 grep 执行 grep 的所有内容？那么 grep -r "str". 的结果比前一个多最佳答案当您运行 grep str * 时，shell 将扩展
grep - 只获取 grep 精确匹配
我正在尝试 grep 文件以查找匹配项的确切出现，但我也得到了更长的虚假匹配项: grep CAT1717O99 myfile.txt -F -w 输出: CAT1717O99 CAT1717O99
grep - 反向匹配的异常 grep 行为
我有一个文件，其中包含我希望通过未指定分析运行的标识符(每行一个)。如果一切运行正常，分析将输出具有相同标识符的另一个列表(不一定按相同顺序)。然而，事实证明，对某些输入标识符没有进行分析，并且这些

首页

博学

6Ren·AI

商城

hadoop - hadoop grep命令