macos - Mac OSX 将主机名流量转发到 SSH 隧道

Question

我正在尝试为 apache kafka 设置一个 ssh 隧道，从我的开发机器到三个监听端口 9092 的 kafka 代理。我们必须通过跳转框与 kafka 集群通信。直接与这些经纪人建立隧道非常容易。棘手的部分是 kafka 代理以必须在本地解析的广告主机名进行响应。在 ubuntu 中，我可以分两步执行此操作:

我的 ssh 配置文件设置隧道并将主机名映射到正确的主机:

#Forward to all the kafka brokers
LocalForward 9195 kafka01:9092
LocalForward 9196 kafka02:9092
LocalForward 9197 kafka03:9092

#remap the kafka names.  these need to resolve correctly for it to work
LocalForward kafka01.maindev.local:9092 kafka01:9092
LocalForward kafka02.maindev.local:9092 kafka02:9092
LocalForward kafka03.maindev.local:9092 kafka03:9092

此设置允许我将 kafka 配置为连接到 localhost:9191、localhost:9292、localhost:9393 的代理

然后，我可以将我的环回适配器映射到/etc/hosts 中的主机名，以便它们正确解析。

127.0.2.1 kafka01.maindev.local
127.0.2.2 kafka02.maindev.local
127.0.2.3 kafka03.maindev.local

此设置在 Ubuntu 中运行良好，但我无法在 MacOSX 环境中运行。在我的 Mac 上，只要我使用 lo0 显示别名

ifconfig lo0 alias 127.0.2.1 

一旦别名启动，任何主机名都不能绑定(bind)到 9092 端口，因为它“已在使用中”。

在我的 Mac 上设置此隧道时我做错了什么？

Answer 1

刚刚通过 AWS MSK
获取您的 kafka 集群 boostrap 服务器和 zookeeper ip/主机名

aws kafka describe-cluster --cluster-arn <kafka arn>

添加到您的 ssh 配置

LocalForward 127.0.0.1:9092  <aws-bootstrap-1>:9092
LocalForward 127.0.0.2:9092 <aws-bootstrap-2>:9092
LocalForward 127.0.0.3:9092 <aws-bootstrap-3>:9092
LocalForward 127.0.0.4:2181  <zookeeper-ip-1>:2181
LocalForward 127.0.0.5:2181  <zookeeper-ip-2>:2181
LocalForward 127.0.0.6:2181  <zookeeper-ip-2>:2181

编辑您的主机文件

#kafka
127.0.0.1 <aws-bootstrap-1>
127.0.0.2 <aws-bootstrap-2>
127.0.0.3 <aws-bootstrap-3>

对于 macOS，创建虚拟接口(interface)

sudo ifconfig lo0 alias 127.0.0.2 up
sudo ifconfig lo0 alias 127.0.0.3 up
sudo ifconfig lo0 alias 127.0.0.4 up
sudo ifconfig lo0 alias 127.0.0.5 up
sudo ifconfig lo0 alias 127.0.0.6 up

ssh 到你的 jumphost 并确保 MSK 安全组允许 9092 和 2181 入站到该主机

./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092,127.0.0.2:9092,127.0.0.3:9092

./kafka-configs.sh --zookeeper 127.0.0.4:2181,127.0.0.5:2181,127.0.0.6:2181 --describe --entity-name <your_topic>  --entity-type topics