个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在使用 HDP 2.4.2 我想将 Spark 与 HAWQ 连接起来以获取数据。
如果有任何推荐/正确的方法，请告诉我，目前我正在使用 postgress jdbc 驱动程序将 spark 与 HAWQ 连接起来。我面临这样的问题
-如果表不存在，DataFrame 会在 HAWQ 中自动创建表。
-记录摄取太慢。
-间歇性地显示错误，例如 "org.postgresql.util.PSQLException: ERROR: relation "table_name"already exists"。
最佳答案
请参阅此示例 Scala 项目以通过 Spark RDD 读取 HAWQ 数据:https://github.com/kdunn926/sparkHawq
如果您希望使用 HAWQ 读取由 Spark 生成的数据，最好的选择是从 Spark 写入 HDFS，然后使用 PXF 与 HAWQ 一起读取它。请参阅此处的文档:http://hdb.docs.pivotal.io/200/hawq/pxf/PivotalExtensionFrameworkPXF.html
关于postgresql - Spark + HAWQ 集成(HDP 2.4.2)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40101231/
25
4
0
我使用 ambari 在 Hadoop 上安装了 hawq。在安装步骤中，我选择了带有 2 个网段的 Hawq master 主机，一切正常。后来，我使用 ambari 添加了一个新的 hawq 段，
我对要加载到 HAWQ 中的表的存储大小计算/估算有疑问吗？ 我在 HIVE 中有一个 30MB 的表，我正在尝试使用 PXF 将其加载到 HAWQ 中，例如:create table t2 tabl
我有一个六节点集群，我想在上面安装 HAWQ 数据库和 PXF。我的集群看起来像这样: Node1 - NameNode, ResourceManager, HiveMetastore, HiveCl
我需要从这个 table1 创建一个 table2 来尝试更新下表: TABLE1: ID Rank Event 123456 1 178 123456 2 123456 3
我不知道还有什么地方可以问这个问题，所以我会在这里问，因为我认为这可以为 future 可能有类似问题的用户提供一个很好的引用。 Apache HAWQ 是否有任何已知的生产用途 (http://ha
我们有一个要求，我们需要将 HAWQ 的数据作为一个 RESTful API 以 JSON 格式提供给许多消费者，例如具有 Web 服务安全性的移动应用程序、Web 应用程序等；基本上数据即服务来自数
我们有零售行业数据的用例。我们正在制作 EDW。 我们目前正在从 HAWQ 进行报告。但是我们想将我们的 MPP 数据库从 Hawq 转移到 Greenplum。基本上，我们想对当前的数据管道进行更改
我正在 Amazon EC2 上配置的 RedHat 服务器上安装 HAWQ。我已经在集群上安装了 HDP 2.3。我从 Github 克隆了 HAWQ . 首先我运行 ./configure --p
我们有小型 Hadoop-Hawq 集群。在那，当我执行HAWQ服务的检查时，从属主机服务失败。 从 Ambari UI 获取以下错误: **stderr:** Traceback (most rec
我在Centos7.1上搭建incubator-hawq后，我尝试初始化它。但是出现以下错误: 20160516:18:10:43:002036 hawqinit.sh:host-172-16-0-1
我们有 PHD3.0 版本的 hadoop 集群，用于 5 个节点，使用安装在 rackspace 上的 ambari。我们必须迁移到 Google 云 (GCP)。 但没有得到步骤如何进行以下操作
我想安装基于Hadoop的Apache HAWQ。 在安装 HAWQ 之前，我应该安装 Hadoop 并配置我所有的节点。 我有四个节点如下，我的问题是一样的。 我应该为 hawq-master 安装
在我部署了 hdfs、map reduce、hawq、pxf 和 ambari 之后，我使用 impala-tpcds-kits 在 hdfs 上生成了大约 10G 数据。 但是当我用用户postgr
我正在使用 HDP 2.4.2 我想将 Spark 与 HAWQ 连接起来以获取数据。 如果有任何推荐/正确的方法，请告诉我，目前我正在使用 postgress jdbc 驱动程序将 spark 与
我们有小型 hadoop 和 Greenplum 集群。 当前的数据管道流程是: External table >> hadoop-hawq external readbale table >>haw
尝试使用 greenplum 的 odbc/jdbc 驱动程序(从正确的 Pivotal 页面下载)从 Spark 连接到 HAWQ。 使用 Spark 1.4，下面是用 python 编写的示例代码
我们有一个小型的关键 hadoop-hawq 系统集群。我们必须读取一个外部表。 即从 ext_table 中选择 * 但是当我在 Hawq 中发出关于以下错误的投诉时: Error Hawq com
我在 Greenplum 数据库中有数 TB 的结构化数据。我需要对我的数据运行本质上是 MapReduce 作业。 我发现自己至少重新实现了 MapReduce 的功能，以便这些数据适合内存(以流方
我尝试部署 HAWQ 2.0，但无法让 HAWQ Master 运行。以下是错误日志: [gpadmin@hdps31hwxworker2 hawqAdminLogs]$ cat ~/hawqAdm
我是一名优秀的程序员,十分优秀！