gpt4 book ai didi

hadoop - 在sqoop命令中使用Teradata快速导出

转载 作者:行者123 更新时间:2023-12-02 20:22:14 24 4
gpt4 key购买 nike

使用Teradata方法“--fast-export”时,从Teradata数据库中发信息时出现问题,下面是示例发信息


-Dhadoop.security.credential.provider.path=jceks:/PATH/TO/password/password.jcecks

-Dteradata.db.job.data.dictionary.usexviews=false

--connect

jdbc:teradata://DATABASE

--password-alias

password.alias

--username

USER

--connection-manager

org.apache.sqoop.teradata.TeradataConnManager

--fields-terminated-by

'\t'

--lines-terminated-by

'\n'

--null-non-string

''

--null-string

''

--num-mappers

8

--split-by

column3

--target-dir

/THE/TARGET/DIR

--query

SELECT column1,column2,column3 WHERE column3 > '2020-01-01 00:00:00' and column3 <= '2020-01-12 10:41:20' AND $CONDITIONS

--

--method

internal.fastexport

我得到的错误是

原因:com.teradata.connector.common.exception.ConnectorException:java.sql.SQLException:[Teradata数据库] [TeraJDBC] [错误3524] [SQLState 42000]用户没有对数据库DATABASE的CREATE VIEW访问权限。

我怀疑快速导出将实现临时创建的临时表/ View ,而后台工作将从临时表中提取。这是一种抑制机制,可以将其关闭吗?

非常感谢

最佳答案

快速导出不实现任何 View 来提取数据。 Sqoop正在基于--query值创建 View 。因此,运行该作业的用户必须具有在DATABASE上授予的CV权限。

您可以通过运行以下查询,在环境中替换USER_NAME和DATABASE_NAME的值,来检查用户在数据库上的权限。

ACCESS_RIGHT ='CV',表示创建 View ,因此保持原样。

SELECT * 
FROM dbc.allRoleRights WHERE roleName IN
(SELECT roleName FROM dbc.roleMembers WHERE grantee = 'USER_NAME')
AND DATABASENAME = 'DATABASE_NAME'
AND ACCESS_RIGHT = 'CV'
ORDER BY 1,2,3,5;

您可能需要CT(创建表)权限才能创建用于快速导出的日志表。这由Sqoop参数--error-table和--error-database给出

关于hadoop - 在sqoop命令中使用Teradata快速导出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59748245/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com