python - 将用于 mapreduce 的 Python 脚本传递给 HBase

Question

我们有一个基于 Hadoop 的 HBase 实现。到目前为止，我们所有的 Map-Reduce 作业都是作为 Java 类编写的。我想知道是否有一种好的方法可以使用 Python 脚本传递给 HBase 进行 Map-Reduce。

Answer 1

有一个很好的开源库可以用于此目的。它叫做 HappyBase 可用 here .它使用 HBase 的 Thrift API 进行连接。

这是一个使用 HappyBase 完成的一些简单 HBase 操作的示例:

import happybase

connection = happybase.Connection('localhost')
table = connection.table('my-table')

table.put('row-key', {'family:qual1': 'value1','family:qual2': 'value2'})
row = table.row('row-key')print row['family:qual1']  
# prints 'value1'
for key, data in table.rows(['row-key-1', 'row-key-2']):    
    print key, data  # prints row key and data for each row
for key, data in table.scan(row_prefix='row'):    
    print key, data  # prints 'value1' and 'value2'
row = table.delete('row-key')

因此，如果您想使用 Python 运行 Map/Reduce 作业来访问 HBase，您可以做的是:

1. 在所有数据节点上安装 HappyBase。
2. 详述使用 Python 流式传输 in the streaming section在集群上运行您的作业。