gpt4 book ai didi

java - Cassandra 和 Pig 集成 - hadoop 是可选的吗?

转载 作者:可可西里 更新时间:2023-11-01 14:21:53 25 4
gpt4 key购买 nike

我正在尝试设置一个试用 cassandra + pig 集群。 cassandra wiki 听起来好像您需要 hadoop 才能与 pig 集成。

但是 cassandra-src/contrib/pig 中的自述文件听起来好像您可以在没有 hadoop 的情况下在 cassandra 上运行 pig。

如果 hadoop 是可选的,不使用它会损失什么?

最佳答案

Hadoop 仅在您进行测试时才可选。为了以任何规模做任何事情,您还需要 hadoop。

在没有 hadoop 的情况下运行意味着您在本地模式下运行 pig。这基本上意味着所有数据都由您正在运行的同一个 pig 进程处理。这适用于单个节点和示例数据。

当运行任何大量数据或多台机器时,您希望在 hadoop 模式下运行 pig。通过在您的 cassandra 节点上运行 hadoop 任务跟踪器,pig 可以通过分配工作负载和使用数据局部性来减少网络传输,从而利用 map reduce 提供的好处。

关于java - Cassandra 和 Pig 集成 - hadoop 是可选的吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8813432/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com