- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我们有一个小型的关键 hadoop-hawq 系统集群。我们必须读取一个外部表。
即从 ext_table 中选择 *
但是当我在 Hawq 中发出关于以下错误的投诉时:
Error Hawq complaints for : missing data for column "SoldToAddr2"
我们尝试了以下操作:
我们尝试在 ext_table 定义的格式子句中使用不同的特殊字符:
for ex:
CREATE READABLE EXTERNAL TABLE ext_table
(
"ID" INTEGER,
time timestamp,
"Customer" char(7),
"Name" varchar,
"ShortName" char(10),
"ExemptFinChg" char(1),
"MaintHistory" char(1),
"CustomerType" char(1),
"MasterAccount" char(7),
"StoreNumber" char(7),
"PrtMasterAdd" char(1),
"CreditStatus" char(1),
"CreditLimit" decimal(14),
"InvoiceCount" decimal(7),
"Salesperson" char(3),
"Salesperson1" char(3),
"Salesperson2" char(3),
"Salesperson3" char(3),
"PriceCode" char(2),
"CustomerClass" char(2),
"Branch" char(2),
"TermsCode" char(2),
"InvDiscCode" char(2),
"BalanceType" char(1),
"Area" char(2),
"LineDiscCode" char(2),
"TaxStatus" char(1),
"TaxExemptNumber" char(30),
"SpecialInstrs" char(30),
"PriceCategoryTable" char(52),
"DateLastSale" date,
"DateLastPay" date,
"OutstOrdVal" decimal(16),
"NumOutstOrd" decimal(6),
"Telephone" char(20),
"Contact" varchar,
"AddTelephone" char(20),
"Fax" char(20),
"Telex" char(10),
"TelephoneExtn" char(5),
"Currency" text,
"UserField1" char(10),
"UserField2" decimal(16),
"GstExemptFlag" char(1),
"GstExemptNum" char(15),
"GstLevel" char(1),
"DetailMoveReqd" char(1),
"InterfaceFlag" char(1),
"ContractPrcReqd" char(1),
"BuyingGroup1" char(2),
"BuyingGroup2" char(2),
"BuyingGroup3" char(2),
"BuyingGroup4" char(2),
"BuyingGroup5" char(2),
"StatementReqd" char(1),
"BackOrdReqd" char(1),
"ShippingInstrs" char(30),
"StateCode" char(3),
"DateCustAdded" date,
"StockInterchange" char(1),
"MaintLastPrcPaid" char(1),
"IbtCustomer" char(1),
"SoDefaultDoc" char(1),
"CounterSlsOnly" char(1),
"PaymentStatus" char(1),
"Nationality" char(3),
"HighestBalance" decimal(16),
"CustomerOnHold" char(1),
"InvCommentCode" char(3),
"EdiSenderCode" char(40),
"RelOrdOsValue" decimal(16),
"EdiFlag" char(1),
"SoDefaultType" char(1),
"Email" char(50),
"ApplyOrdDisc" char(1),
"ApplyLineDisc" char(1),
"FaxInvoices" char(1),
"FaxStatements" char(1),
"HighInvDays" decimal(5),
"HighInv" char(6),
"DocFax" char(20),
"DocFaxContact" char(40),
"SoldToAddr1" char(150),
"SoldToAddr2" char(80),
"SoldToAddr3" char(40),
"SoldToAddr4" char(40),
"SoldToAddr5" char(40),
"SoldPostalCode" char(9),
"ShipToAddr1" char(40),
"ShipToAddr2" char(40),
"ShipToAddr3" char(40),
"ShipToAddr4" char(40),
"ShipToAddr5" char(40),
"ShipPostalCode" char(9),
"State" char(2),
"CountyZip" char(5),
"City" char(3),
"State1" char(2),
"CountyZip1" char(5),
"City1" char(3),
"DefaultOrdType" char(2),
"PoNumberMandatory" char(1),
"CreditCheckFlag" char(1),
"CompanyTaxNumber" char(15),
"DeliveryTerms" char(3),
"TransactionNature" decimal(5),
"DeliveryTermsC" char(3),
"TransactionNatureC" decimal(5),
"RouteCode" char(10),
"FaxQuotes" char(1),
"RouteDistance" decimal(6),
"TpmCustomerFlag" char(1),
"SalesWarehouse" text,
"TpmPricingFlag" char(1),
"ArStatementNo" char(2),
"TpmCreditCheck" char(1),
"WholeOrderShipFlag" char(1),
"MinimumOrderValue" decimal(12),
"MinimumOrderChgCod" char(6),
"UkVatFlag" char(1),
"UkCurrency" char(3),
"TimeStamp" bytea
)
LOCATION (
'pxf://hostname/path/to/hdfs?profile=HdfsTextSimple')
FORMAT 'CSV' (delimiter '^' null 'null' quote '"')
ENCODING 'UTF8';
错误详情:
即第20行遇到坏行
error detail :DETAIL: External table tablename, line 20 of pxf://hostname/path/to/hdfs?profile=HdfsTextSimple: "23020^2015-12-02 11:14:26.52^0023482^Carlos iglesias ^ ^N^Y^ ^ ^ ..."
什么是解决关键 hadoop-hawq 系统中严重错误的更好方法?
任何帮助将不胜感激?
最佳答案
由于您使用的 CSV 格式以 "作为字符串终止符,因此您的数据中很可能有一个额外的 "错误地终止了一个字段。您将需要删除多余的引号或使用“\”将其转义。
您可以定义外部表来记录错误,然后使用 gp_read_error_log() 来读取这些错误。
有关日志记录错误的更多详细信息,请参阅管理员指南: http://gpdb.docs.pivotal.io/4360/admin_guide/load/topics/g-define-an-external-table-with-single-row-error-isolation.html
关于postgresql - 当 Hawq 投诉 : missing data for column "SoldToAddr2" 时如何解决错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34065536/
我使用 ambari 在 Hadoop 上安装了 hawq。在安装步骤中,我选择了带有 2 个网段的 Hawq master 主机,一切正常。后来,我使用 ambari 添加了一个新的 hawq 段,
我对要加载到 HAWQ 中的表的存储大小计算/估算有疑问吗? 我在 HIVE 中有一个 30MB 的表,我正在尝试使用 PXF 将其加载到 HAWQ 中,例如:create table t2 tabl
我有一个六节点集群,我想在上面安装 HAWQ 数据库和 PXF。我的集群看起来像这样: Node1 - NameNode, ResourceManager, HiveMetastore, HiveCl
我需要从这个 table1 创建一个 table2 来尝试更新下表: TABLE1: ID Rank Event 123456 1 178 123456 2 123456 3
我不知道还有什么地方可以问这个问题,所以我会在这里问,因为我认为这可以为 future 可能有类似问题的用户提供一个很好的引用。 Apache HAWQ 是否有任何已知的生产用途 (http://ha
我们有一个要求,我们需要将 HAWQ 的数据作为一个 RESTful API 以 JSON 格式提供给许多消费者,例如具有 Web 服务安全性的移动应用程序、Web 应用程序等;基本上数据即服务来自数
我们有零售行业数据的用例。我们正在制作 EDW。 我们目前正在从 HAWQ 进行报告。但是我们想将我们的 MPP 数据库从 Hawq 转移到 Greenplum。基本上,我们想对当前的数据管道进行更改
我正在 Amazon EC2 上配置的 RedHat 服务器上安装 HAWQ。我已经在集群上安装了 HDP 2.3。我从 Github 克隆了 HAWQ . 首先我运行 ./configure --p
我们有小型 Hadoop-Hawq 集群。在那,当我执行HAWQ服务的检查时,从属主机服务失败。 从 Ambari UI 获取以下错误: **stderr:** Traceback (most rec
我在Centos7.1上搭建incubator-hawq后,我尝试初始化它。但是出现以下错误: 20160516:18:10:43:002036 hawqinit.sh:host-172-16-0-1
我们有 PHD3.0 版本的 hadoop 集群,用于 5 个节点,使用安装在 rackspace 上的 ambari。我们必须迁移到 Google 云 (GCP)。 但没有得到步骤如何进行以下操作
我想安装基于Hadoop的Apache HAWQ。 在安装 HAWQ 之前,我应该安装 Hadoop 并配置我所有的节点。 我有四个节点如下,我的问题是一样的。 我应该为 hawq-master 安装
在我部署了 hdfs、map reduce、hawq、pxf 和 ambari 之后,我使用 impala-tpcds-kits 在 hdfs 上生成了大约 10G 数据。 但是当我用用户postgr
我正在使用 HDP 2.4.2 我想将 Spark 与 HAWQ 连接起来以获取数据。 如果有任何推荐/正确的方法,请告诉我,目前我正在使用 postgress jdbc 驱动程序将 spark 与
我们有小型 hadoop 和 Greenplum 集群。 当前的数据管道流程是: External table >> hadoop-hawq external readbale table >>haw
尝试使用 greenplum 的 odbc/jdbc 驱动程序(从正确的 Pivotal 页面下载)从 Spark 连接到 HAWQ。 使用 Spark 1.4,下面是用 python 编写的示例代码
我们有一个小型的关键 hadoop-hawq 系统集群。我们必须读取一个外部表。 即从 ext_table 中选择 * 但是当我在 Hawq 中发出关于以下错误的投诉时: Error Hawq com
我在 Greenplum 数据库中有数 TB 的结构化数据。我需要对我的数据运行本质上是 MapReduce 作业。 我发现自己至少重新实现了 MapReduce 的功能,以便这些数据适合内存(以流方
我尝试部署 HAWQ 2.0,但无法让 HAWQ Master 运行。以下是错误日志: [gpadmin@hdps31hwxworker2 hawqAdminLogs]$ cat ~/hawqAdm
我是一名优秀的程序员,十分优秀!