个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
24
4
我有一个博客提供了一个 REST API 来下载数据。 API 提供主题列表(JSON 格式)。可以迭代列表以下载每个主题的消息。我想每天下载论坛的所有消息，并存储在HDFS中。
我正在考虑编写一个 Java 程序调用 API 来获取数据并使用 Hadoop API 将其存储在 HDFS 上。我可以使用每日 Oozie 批处理运行 Java 程序。
有更好的方法吗？也许将数据存储在本地文件系统上，最后将文件放在 HDFS 上。我想知道在这种情况下是否可以使用 Flume，它的附加值是什么？
提前致谢
最佳答案
这似乎是一个“简单”的程序。您可以使用任何语言/工具从 rest API 读取 JSON，然后将内容上传到 hdfs。
而且您还需要一个调度程序来安排作业。
使用 Oozie + java/shell action/，它可以更好地跟踪作业历史记录。如果 oozie 已经可用，我会选择这个。
关于java - 从 REST API 轮询数据到 HDFS，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28842084/
24
4
0
var status = {{ check_status }}; call_polling = function() { // polling request to API (async)
我有一个网络应用程序，它有一个计时器，每 3 秒触发一次轮询以获取数据。它工作正常大约 2.5 分钟，然后 Chromium 崩溃。 我的请求 Dart 看起来像这样 HttpRequest.getS
是否已经有为 jQuery 编写的通知库？一种提供下拉消息的方式，类似于 StackOverflow 的方式。 寻找的东西: 1)每几秒轮询一次(也许可以选择 cometd ) 2) 有一个标记为已读
当电池电量不足时，Android 将发送一个 ACTION_BATTERY_LOW Intent 。然后当它再次正常时，它会发送 ACTION_BATTERY_OKAY。 不幸的是，如果我的应用程序在
如果在内核模式CPU可以访问用户空间内存，为什么我们在调用poll/select时需要将数据从用户空间复制到内核空间？ 引自 Linux 编程接口(interface): When running i
我正在尝试使用来自 python 的 poll() 来轮询一个进程。 link 我不明白，我正在为它提供一个整数值来进行轮询。例如:值为 14870 14870 Traceback (most rec
我正在用 Java 编写一个程序，我在一个线程上打开了 256 个网络连接。每当套接字上有任何数据时，我都应该读取它并进行处理。目前，我正在使用以下方法: while true do itera
我有一个有点哲学的问题。我们使用存储队列来处理“门票”。我们实现的方式是我们有一个后台服务(辅助角色)，它轮询存储队列并找出是否有任何票证需要处理。我们所做的工作具有季节性。这意味着不会一直有票需要处
我目前正在使用 CFReadStreamHasBytesAvailable 轮询我的 CFReadStream 以获取新数据。 (首先，一些背景知识:我正在做自己的线程，我不想/不需要搞乱运行循环的东
使用 azure-sdk-for-php 长时间轮询 Azure 队列存储时，如果我的请求间隔超过 30 秒，则库会因以下错误而终止: PHP Notice: fwrite(): send of 2
我在尝试使用 JavaScript 监听 Firebase 中的更改来进行实时刷新时遇到了一些问题。我尝试做的是一个聊天系统。与另一个用户开始新的聊天后，我将加载两个用户之间的所有聊天。 code 我
我正在开发一个使用通知系统的网站(如 Facebook 的系统)。为此，我想我将编写一个 JQuery 轮询函数，使用 ajax 在服务器端查找新通知。 我的问题是，这是个好主意吗？ 最佳答案 客户端
我正在开发一个后端服务，该服务使用 spring aws 集成定期轮询 S3 存储桶，并处理来自 S3 的轮询对象。下面是它的实现 @Configuration @EnableIntegration
我想要一些关于如何实现以下内容的建议: 我想让我的用户通过 AJAX 了解在我的服务器上运行的任务的进度。我的服务器运行一个 PHP 脚本，该脚本使用 popen 函数通过 shell 命令下载文件。
我想使用 jQuery 和 AJAX 持续轮询 URL，直到收到 200 状态代码响应。 URL 指向提供文件的 REST API。理想情况下，我会获取其他状态代码，在这些状态代码上我将再次调用 UR
我想知道是否可以将 Ajax 轮询插入到我下面的当前代码中，以便用户每隔几秒发布一次更新，以显示添加到数据库中的任何新内容，例如它们的状态和新的数量添加的评论和我构建的提要中的时间戳。这是我到目前为止
我想弄清楚如何在不使用触发器的情况下轮询对 Oracle 表所做的更改。我目前关心的唯一变化是新的/插入的记录。任何建议将不胜感激。 我也真的不想使用其他表来跟踪更改的内容。 谢谢! 小号 最佳答案
这个问题在这里已经有了答案: How do I return the response from an asynchronous call? (41 个回答) 关闭 3 年前。 我正在尝试轮询 AP
我有一个 SSIS 包，它在 Foreach 容器 中启动另一个 SSIS 包；因为容器在启动它必须启动的所有包后立即报告完成，我需要一种方法让它等到所有“子”包都完成。 所以我实现了一个小的 sle
我将这段代码放入我的主视图文件中: jQuery(document).ready(
我是一名优秀的程序员,十分优秀！