个人中心
gpt4 book ai didi

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

转载 作者：qq735679552 更新时间：2022-09-29 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python3.6.5基于kerberos认证的hive和hdfs连接调用方式由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

1. Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。具体请查阅官网 。

2. 需要安装的包（基于centos） 。

?
1
2
3
4
5
6
7
8
9
10
11
12
yum install libsasl2 - dev
yum install gcc - c + + python - devel.x86_64 cyrus - sasl - devel.x86_64
yum install python - devel
yum install krb5 - devel
yum install python - krbV
 
pip install krbcontext = = 0.9
pip install thrift = = 0.9 . 3
pip install thrift - sasl = = 0.2 . 1
pip install impyla = = 0.14 . 1
pip install hdfs[kerberos]
pip install pykerberos = = 1.2 . 1

3. /etc/krb5.conf 配置， 在这个文件里配置你服务器所在的域 。

4./etc/hosts 配置， 配置集群机器和域所在机器 。

5. 通过kinit 生成 ccache_file或者keytab_file 。

6. 连接hive代码如下 。

?
1
2
3
4
5
6
7
8
9
10
11
import os
from impala.dbapi import connect
from krbcontext import krbcontext
keytab_path = os.path.split(os.path.realpath(__file__))[ 0 ] + '/xxx.keytab'
principal = 'xxx'
with krbcontext(using_keytab = True ,principal = principal,keytab_file = keytab_path):
  conn = connect(host = ip, port = 10000 , auth_mechanism = 'GSSAPI' , kerberos_service_name = 'hive' )
  cursor = conn.cursor()
  cursor.execute( 'SELECT * FROM default.books' )
  for row in cursor:
   print (row)

7. 连接hdfs代码如下 。

?
1
2
3
4
5
6
7
8
9
from hdfs.ext.kerberos import KerberosClient
from krbcontext import krbcontext
 
hdfs_url = 'http://' + host + ':' + port
data = self ._get_keytab(sso_ticket)
self ._save_keytab(data)
with krbcontext(using_keytab = True , keytab_file = self .keytab_file, principal = self .user):
  self .client = KerberosClient(hdfs_url)
  self .client._list_status(path).json()[ 'FileStatuses' ][ 'FileStatus' ] #获取path下文件及文件夹

8. 注：krbcontext这个包官方说支持python2，但是python3也能用 。

这个hdfs_url 一定要带"http://"不然会报错 。

9. 我新增了一些配置文件配置，具体的操作如下 。

python3.6.5基于kerberos认证的hdfs,hive连接调用（含基础环境配置） 。

1需要准备的环境 。

yum包（需要先装yum包，再装python包，不然会有问题） 。

?
1
2
3
4
5
6
7
yum install openldap - clients - y
yum install krb5 - workstation krb5 - libs - y
yum install gcc - c + + python - devel.x86_64 cyrus - sasl - devel.x86_64
yum install python - devel
yum install krb5 - devel
yum install python - krbV
yum install cyrus - sasl - plain cyrus - sasl - devel cyrus - sasl - gssapi

python包安装（pip或pip3，请根据实际情况选择） 。

?
1
2
3
4
5
6
pip install krbcontext = = 0.9
pip install thrift = = 0.9 . 3
pip install thrift - sasl = = 0.2 . 1
pip install impyla = = 0.14 . 1
pip install hdfs[kerberos]
pip install pykerberos = = 1.2 . 1

配置/etc/hosts文件（需要把大数据平台的机器和域名进行配置） 。

10.xxx.xxx.xxx name-1 panel.test.com 10.xxx.xxx.xxx name-1 。

配置/etc/krb5.conf(具体查看kerberos服务配置中心) 。

参考配置（仅供参考，具体更具自己实际配置修改） 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[libdefaults]
   renew_lifetime = 9d
   forwardable = true
   default_realm = PANEL.COM
   ticket_lifetime = 24h
   dns_lookup_realm = false
   dns_lookup_kdc = false
   default_ccache_name = / tmp / krb5cc_ % {uid}
  [logging]
   default = FILE : / var / log / krb5kdc.log
   admin_server = FILE : / var / log / kadmind1.log
   kdc = FILE : / var / log / krb5kdc1.log
  [realms]
   PANEL.COM = {
   admin_server = panel.test1.com
   kdc = panel.test1.com
   }

连接代码:

hdfs:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import json, os
from hdfs.ext.kerberos import KerberosClient
from krbcontext import krbcontext
 
  def _connect( self , host, port, sso_ticket = None ):
   try :
    hdfs_url = 'http://' + host + ':' + port
    active_str = 'kinit -kt {0} {1}' . format ( self .keytab_file, self .user)
    # 激活当前kerberos用户认证，因为python缓存机制，切换用户，这个缓存不会自动切换，需要手动处理下
    os.system(active_str)
    with krbcontext(using_keytab = True , keytab_file = self .keytab_file, principal = self .user):
     self .client = KerberosClient(hdfs_url)
   except Exception as e:
    raise e

hive 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import os
from krbcontext import krbcontext
from impala.dbapi import connect
from auto_model_platform.settings import config
 
  def _connect( self , host, port, sso_ticket = None ):
   try :
    active_str = 'kinit -kt {0} {1}' . format ( self .keytab_file, self .user)
    # 同hdfs
    os.system(active_str)
    with krbcontext(using_keytab = True , principal = self .user, keytab_file = self .keytab_file):
     self .conn = connect(host = host, port = port, auth_mechanism = 'GSSAPI' , kerberos_service_name = 'hive' )
     self .cursor = self .conn.cursor()
   except Exception as e:
    raise e

总结 。

我在做的时候也遇到很多坑，其实在这个需要理解其中原理，比如kerberos的机制和对应命令 。

如果是做基础平台用，用多用户切换的情况，建议不要用python，因为一点都不友好，官方包问题很多，我都改用java的jdbc去操作hdfs和hive了 。

如果只是自己测试和和做算法研究，还是可以用的，因为这个代码简单，容易实现 。

补充 。

kinit命令 。

kinit -kt xxxx.keytab #激活xxxx用户当前缓存 kinit list #查看当前缓存用户 。

以上这篇python3.6.5基于kerberos认证的hive和hdfs连接调用方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/u012133034/article/details/94460278 。

最后此篇关于python3.6.5基于kerberos认证的hive和hdfs连接调用方式的文章就讲到这里了,如果你想了解更多关于python3.6.5基于kerberos认证的hive和hdfs连接调用方式的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

27 4 0
文章推荐： java两种单例模式用法分析
文章推荐： python访问hdfs的操作
文章推荐： java 值Document解析xml详细介绍
文章推荐： 2020最新古风句子唯美签名大全 凄凉唯美的古风个性签名
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com