spring - Spring-xd Stream正在将空文件写入我的HDFS

Question

因此，我正在关注本书，这是Jason Bell编写的面向开发人员的机器学习手册。在我不得不将spring-xd流连接到hadoop之前，我在本书中走得很远。我正在运行spring-xd 1.2.1，并且正在运行9000端口上的hadoop(1.2.1和2.6.0，我都尝试过)。在本教程中，我们应该采用Twitter流并将其通过管道传输到hadoop中的文件，但是当我创建和部署此流时，它创建的文件并未填充推文。所以现在，为了简化起见，我现在正试图通过创建此流来使流连接到hdfs，

流创建--name ticktock-定义“时间| hdfs” --deploy

当我尝试使用命令时，应该将日期传递到/xd/ticktock/ticktock-0.txt.tmp中的文件

hadoop FS猫/xd/ticktock/ticktock-0.txt.tmp

它什么也没有产生，让我假设没有数据到达它。我确实在此流上放了一个水龙头，然后将其运行到本地文件。在该文件中，它正确记录了时间，因此我知道我的流正在执行正确的功能并产生输出，由于某种原因，它没有达到hadoop。

它会在hadoop中创建文件，所以这并不像hadoop完全忽略了流，它为其创建的文件内部什么也没有。

我确实找到了一个与我有同样问题的人，他们将他们的vm网络连接到NET或其他东西，但是我没有使用vmbox。

我尝试将文件夹xd更改为777，
我已确保不用密码即可SSH到本地计算机，
我确保在我的hadoop集群中有一个数据节点正在运行，
并且通过将我创建的文件放置到hdfs中，然后在spring-xd shell和常规终端上对其运行cat命令，确保了cat函数能够正常工作。

不幸的是，我很茫然，有人可以在这种情况下帮助我吗？

如果您需要有关hadoop集群或spring-xd设置的任何信息，请告诉我，我仍然是这些技术的新手。

Answer 1

破坏流后，您可以在hdfs下沉中看到文件。

2也
翻转:即使流处于 Activity 状态，一旦存储的数据大小超过
1G(默认值)，Spring XD会将1G内容翻转到HDFS文件并创建一个新的tmp文件，并将当前的timetock值存储在其中。

谢谢
萨蒂什