hadoop 流式获取节点id

Question

在 hadoop 流中，有没有办法获取处理给定任务的节点的 ID？

通过类比，这个片段给出了任务的输入文件的名称:

#!/usr/bin/env python
import os
map_input_file = str(os.environ["map_input_file"])

我正在寻找类似 os.environ["map_node_id"] 的东西。该节点的任何唯一句柄都可以工作......

Answer 1

您可以简单地通过使用映射器/ reducer 中的套接字模块来获取数据节点的主机名:

import socket
...
node = socket.gethostname()