gpt4 book ai didi

Linux下Kafka单机安装配置方法(图文)

转载 作者:qq735679552 更新时间:2022-09-27 22:32:09 26 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Linux下Kafka单机安装配置方法(图文)由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

介绍 。

kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?

首先让我们看几个基本的消息系统术语:

•kafka将消息以topic为单位进行归纳。 •将向kafka topic发布消息的程序成为producers. •将预订topics并消费消息的程序成为consumer. •kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker. producers通过网络将消息发送到kafka集群,集群向消费者提供消息,如下图所示:

Linux下Kafka单机安装配置方法(图文)

客户端和服务端通过tcp协议通信。kafka提供了java客户端,并且对多种语言都提供了支持.

说明:

操作系统:centos 6.x 64位 。

kafka版本:kafka_2.11-0.8.2.1 。

实现目的:

单机安装配置kafka 。

具体操作:

1、关闭selinux、开启防火墙9092端口 。

1、关闭selinux 。

vi /etc/selinux/config 。

#selinux=enforcing #注释掉 。

#selinuxtype=targeted #注释掉 。

selinux=disabled #增加 。

:wq! #保存退出 。

setenforce 0 #使配置立即生效 。

2、配置防火墙,开启9092端口 。

vi /etc/sysconfig/iptables #编辑防火墙配置文件 。

# firewall configuration written by system-config-firewall 。

# manual customization of this file is not recommended. 。

*filter 。

:input accept [0:0] 。

:forward accept [0:0] 。

:output accept [0:0] 。

-a input -m state --state established,related -j accept 。

-a input -p icmp -j accept 。

-a input -i lo -j accept 。

-a input -m state --state new -m tcp -p tcp --dport 22 -j accept 。

-a input -m state --state new -m tcp -p tcp --dport 9092 -j accept 。

-a input -j reject --reject-with icmp-host-prohibited 。

-a forward -j reject --reject-with icmp-host-prohibited 。

commit 。

:wq! #保存退出 。

service iptables restart #最后重启防火墙使配置生效 。

2、安装jdk 。

kafka运行需要jdk支持 。

1、下载jdk 。

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm 。

注意:直接复制到下载工具进行下载,版本请使用jdk7,jdk8有可能不兼容kafka_2.11-0.8.2.1 。

下载完成之后,上传到/usr/local/src目录下 。

2、安装jdk 。

cd /usr/local/src 。

chmod +x jdk-7u79-linux-x64.rpm # 添加执行权限 。

rpm -ivh jdk-7u79-linux-x64.rpm #安装 。

安装完成之后,可以cd /usr/java/ 到安装目录查看 。

3、添加jdk到系统环境变量 。

vi /etc/profile #编辑,在最后添加以下代码 。

java_home=/usr/java/jdk1.7.0_79 。

path=$path:$java_home/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/x11r6/bin 。

classpath=.:$java_home/lib/tools.jar:$java_home/lib/dt.jar 。

export java_home 。

export path 。

export classpath 。

:wq! #保存退出 。

source /etc/profile #使配置文件立即生效 。

java -version #查看jdk版本信息 。

到此,jdk安装完成.

3、安装kafka 。

1、下载kafka 。

cd /usr/local/src 。

wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz 。

注意,kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本,解压就能使用.

tar -xzvf kafka_2.11-0.8.2.1.tgz #解压 。

mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录 。

2、配置kafka 。

mkdir /usr/local/kafka/log/kafka #创建kafka日志目录 。

cd /usr/local/kafka/config #进入配置目录 。

vi server.properties #编辑修改相应的参数 。

broker.id=0 。

port=9092 #端口号 。

host.name=192.168.0.11 #服务器ip地址,修改为自己的服务器ip 。

log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录 。

zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181 。

:wq! #保存退出 。

3、配置zookeeper 。

mkdir /usr/local/kafka/zookeeper #创建zookeeper目录 。

mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录 。

cd /usr/local/kafka/config #进入配置目录 。

vi zookeeper.properties #编辑修改相应的参数 。

datadir=/usr/local/kafka/zookeeper #zookeeper数据目录 。

datalogdir=/usr/local/kafka/log/zookeeper #zookeeper日志目录 。

clientport=2181 。

maxclientcnxns=100 。

ticktime=2000 。

initlimit=10 。

synclimit=5 。

:wq! #保存退出 。

4、创建启动、关闭kafka脚本 。

cd /usr/local/kafka 。

#创建启动脚本 。

Linux下Kafka单机安装配置方法(图文)

vi kafkastart.sh #编辑,添加以下代码 。

#!/bin/sh 。

#启动zookeeper 。

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties & 。

sleep 3 #等3秒后执行 。

#启动kafka 。

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & 。

:wq! #保存退出 。

#创建关闭脚本 。

Linux下Kafka单机安装配置方法(图文)

vi kafkastop.sh #编辑,添加以下代码 。

#!/bin/sh 。

#关闭zookeeper 。

/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties & 。

sleep 3 #等3秒后执行 。

#关闭kafka 。

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties & 。

:wq! #保存退出 。

#添加脚本执行权限 。

chmod +x kafkastart.sh 。

chmod +x kafkastop.sh 。

5、设置脚本开机自动执行 。

vi /etc/rc.d/rc.local #编辑,在最后添加一行 。

sh /usr/local/kafka/kafkastart.sh & #设置开机自动在后台运行脚本 。

:wq! #保存退出 。

sh /usr/local/kafka/kafkastart.sh #启动kafka 。

sh /usr/local/kafka/kafkastop.sh #关闭kafka 。

至此,linux下kafka单机安装配置完成.

扩展阅读:

kafka创建topic 。

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 。

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 test 。

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --from-beginning 。

最后此篇关于Linux下Kafka单机安装配置方法(图文)的文章就讲到这里了,如果你想了解更多关于Linux下Kafka单机安装配置方法(图文)的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com