hadoop - Platfora 和 Datameer 的分发

Question

我有兴趣安装 Platfora 和 Datameer 分析工具。我怀疑这两个工具的文档，我们看到现有的 Hadoop 发行版，他们已经给出了兼容性列表，包括 CDH、HDP 和 MapR。但我想将它们安装在现有的普通 Hadoop 中。 IE。我通过一个一个下载 Apache Hadoop 组件安装了 Hadoop，并准备了集群。

这些工具在这种情况下是否有效？

Answer 1

您可以通过选择 Hortonworks 的 HDP 发行版使用普通 Apache Hadoop 安装 Platfora - HDP 发行版的核心是普通 Apache Hadoop。 (我在 Platfora 工作。我们支持许多不同的 Hadoop 发行版，但我们的很多开发实际上是使用普通的 Apache Hadoop 完成的)。

Platfora 不仅将 Hadoop 集群用于输入数据，还通过生成本地 MapReduce 和 Apache Spark 作业来处理原始、大容量、结构化或半结构化输入数据(JSON、XML、日志文件、CSV、Avro、数据来自 Hive，其他处理管道和库的输出，你可以命名)。这可以很好地扩展，但是在您的工作流中使用 MapReduce 或 Spark 等更高延迟的框架来应对分析问题中的每一个变化都会给您带来较长的周转时间——这对生产力不利。这就是为什么 Platfora 使用支持低延迟视觉发现前端的分布式、横向扩展内存中查询引擎来访问这些中间结果的原因。这种端到端的方法使得通过交互式(亚秒级)视觉体验可视化和理解跨 PB 数据的模式变得非常容易——类似于 Tableau，但原生于 Hadoop 以及现代多线程的规模和复杂性。结构化数据。