Hadoop fs -ls 命令获取前 10 个文件-6ren

Hadoop fs -ls 命令获取前 10 个文件

转载作者：可可西里更新时间：2023-11-01 15:00:41

25

4

我有一个像这样的 hadoop 命令:

hadoop fs -ls /user/hive/warehouse/mashery_db.db/agg_per_mapi_stats_five_minutes/ | sort | awk  '{ if (index($8, ".hive") == 0 && $6 <= "'"2016-02-10"'" && $7 <= "'"05:00"'") print $8 }'

我想从中获取前 10 个值，而不是获取目录中的所有文件。

最佳答案

就用

hadoop fs -ls /path/of/hdfs/location/ | head -10

那会起作用。

关于Hadoop fs -ls 命令获取前 10 个文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35358425/

25

4

0

文章推荐： hadoop - 问题 : Scala code in Spark shell to retrieve data from Hbase

文章推荐： javascript - 使用 li 选择单选输入按钮？

文章推荐： javascript - 隐藏/显示具有相同类别的所有 div ID 上的内容

Should I import 'fs' or 'node:fs' in Bun?(我应该在Bun中导入‘fs’还是‘node：FS’？)
我正在尝试将我的Node.js项目迁移到Bun。我的项目在很多地方使用了‘fs’包。我发现了许多Bun迁移示例，它们将‘fs’包导入为‘node：FS’。但是，作为“文件系统”导入可以很好地工作，没有
Should I import 'fs' or 'node:fs' in Bun?(我应该在Bun中导入‘fs’还是‘node：FS’？)
我正在尝试将我的Node.js项目迁移到Bun。我的项目在很多地方使用了‘fs’包。我发现了许多Bun迁移示例，它们将‘fs’包导入为‘node：FS’。但是，作为“文件系统”导入可以很好地工作，没有
node.js - 模块初始化错误 : Error at Object. fs.openSync (fs.js :646:18) at Object. fs.readFileSync (fs.js:551:33)
我正在使用 aws lambda。我有一个 .p8 文件，用于发送 apns 通知。因为我不能使用相对或绝对路径，因为它没有服务器。我必须从 s3 url 读取它。为此我做了这个 let file
file - hadoop fs -text vs hadoop fs -cat vs hadoop fs -get
我相信以下所有命令都可用于将 hdfs 文件复制到本地文件系统。有什么区别/情境利弊。 (这里是 Hadoop 新手)。 hadoop fs -text /hdfs_dir/* >> /local_d
node.js - 当我们已经有了 fs.read 和 fs.write 时，为什么还要使用 fs.open 呢？
这是一个新手问题，但我有点困惑为什么需要 open 与 r 、 w 、 a 以及这些标志的所有变体。如果他/她想读取或写入文件而不是使用 open，难道不应该简单地使用 readFile 或 writ
javascript - 使用 import fs from 'fs'
我想在 JavaScript 中使用 import fs from 'fs'。这是一个示例: import fs from 'fs' var output = fs.readFileSync('som
svn - 人为增加 SVN (FS FS) 存储库中的修订号
我的公司正在执行 SVN 存储库迁移，我想避免两个存储库(目前都处于事件状态)之间的修订号重叠。我的要求是将新存储库的修订强制为特定的修订号(例如:100.000)。通过分析 FSFS 存储库，我
hadoop - hadoop fs -put和hadoop fs -copyFromLocal之间的区别
-put和-copyFromLocal被记录为相同，而大多数示例使用详细的变体-copyFromLocal。为什么？ -get和-copyToLocal相同最佳答案 copyFromLocal与pu
javascript - fs.writeFileSnyc/fs.writeFile 写入损坏的文件
我正在调用 Google 云端硬盘的下载 API，然后我想使用 fs.writeFile 或 fs.writeFileSync 在本地写入下载的文件。这就是我正在做的事情: const wri
Node.js fs.readdir、fs.stat
我正在学习一些教程，但无法理解为什么这一行“self.only_dirs.push(files[i]);”导致有关它“未定义”的错误。这肯定是一个变量范围问题，但我尝试过的都没有成功。我需要如何声明变
javascript - PhantomJS 问题写入文件 fs。找不到变量 : fs
我是第一次尝试 phantomJS，我已经成功地从站点中提取了 som 数据，但是当我尝试将一些内容写入文件时，我收到错误:ReferenceError:找不到变量:fs 这是我的脚本 var pag
javascript - fs.readdir 和 fs.readfile 和正则表达式
这是一个 Node 应用程序，运行 Express 服务器。我有一个包含文本文件的文件夹。我需要能够进入文件夹内的每个文件，并提取包含单词“SAVE”的行。我被困在这一步了。 app.get('/l
MongoDB 删除不在 fs.files 中的 fs.chunks
我在 fs.chunks 中有 10 GB 的数据，我想删除不在 fs.files 上的所有文档。我已经删除了我不想要的 fs.files 中的每个条目，所以 fs.files 中的每个 id 都是我
node.js - fs.exists、fs.existsSync - 为什么不推荐使用它们？
我注意到官方 Node 文档对 fs.exists 的描述令人吃惊: "fs.exists() is an anachronism and exists only for historical rea
javascript - 如何将 fs.createReadstream 与 fs.promises 一起使用
我用 require("fs").promises只是为了避免使用回调函数。但是现在，我也想用fs.createReadstream使用 POST 请求附加文件。我怎样才能做到这一点？或者在这种
node.js - fs.writeFile() 和 fs.readFile() 奇怪的行为
我正在使用 Electron 和 React 编写桌面应用程序。我想将一些信息存储在 JSON 文件中。我试过 web-fs 和 browserify-fs 来完成这个，但都没有按预期工作。我的设置如
javascript - fs.createRead/WriteStream() 与 fs.promises.open()
其中哪一个更适合在 Node 服务器应用程序的文件管理器类型中处理文件读/写操作？一个比另一个快吗？速度非常重要，因为该应用程序应该能够同时处理许多用户请求最佳答案流的独特之处在于，不是程序像传
c++ - 使用 fs::recursive_directory_iterator() 和 fs::directory_iterator() 的通用方法
我需要递归或不递归地遍历文件夹(给定 bool 参数)。我发现有 fs::recursive_directory_iterator() 和 fs::directory_iterator()。在 Jav
javascript - 如何在不全局修改 fs 的情况下执行 Promise.promisfyAll(fs)(在编写库时)？
AFAICT，如果我正在编写一个库并使用 Promise.promisifyAll(fs);，这会修改 fs 模块(而不是返回修改后的复制)。因此，如果有人导入我的库，这也会对他们修改 fs 产生副作
javascript - fs.readFile() 或 fs.readFileSync() 不是函数异常，但为什么呢？
我正在使用带有以下导入代码的 fs 模块导入 fs = require('fs') 代码一直运行，直到在下面的 TypeScript 代码的第二行遇到此异常 const filePath = 'da

首页

博学

6Ren·AI

商城

Hadoop fs -ls 命令获取前 10 个文件