Centos安装Kafka配置

2024-04-30 12:57   61   0  

1、下载Kafka

Kafka依赖JDK,在安装之前需要确定jdk已经安装


cd /home/www/
#从北京外国语大学镜像下载最新版本https://mirrors.bfsu.edu.cn/apache/kafka/
#清华大学镜像地址https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/
wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz

BASH

复制

全屏

2、解压


mkdir /data
tar -zxvf kafka_2.13-2.8.0.tgz -C /data/


cd /data/kafka_2.13-2.8.0/

3、启动Zookeeper

Kafka程序自带了Zookeeper,可以直接使用其自带的Zookeeper建立集群,也可以单独使用Zookeeper安装文件建立集群。这里我们使用自带Zookeeper作为案例部署单机模式。


#启动Zookeeper
cd /data/kafka_2.13-2.8.0/
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
#加-daemon参数,可以在后台启动Zookeeper,输出的信息在保存在执行目录的logs/zookeeper.out文件中。



关闭Zookeeper


bin/zookeeper-server-stop.sh -daemon config/zookeeper.properties

3、kafka配置

kafka的配置文件在config/server.properties文件中,主要修改参数如下:

broker.id是kafka broker的编号,集群里每个broker的id需不同。注意id必须是数字类型

isteners是监听地址,一般不需修改,或者写localhost,注意这里不能填写IP否则会报错

advertised.isteners是外网服务监听地址,要设置本地的IP地址。

log.dirs是日志目录。

设置Zookeeper集群地址,我是在同一个服务器上搭建了kafka和Zookeeper,所以填的本地地址

num.partitions 为新建Topic的默认Partition数量,partition数量提升,一定程度上可以提升并发性

内部topic配置

内部__consumer_offsets和__transaction_state两个topic,分组元数据的复制因子,为了保证可用性,在生产上建议设置大于1。

default.replication.factor为kafka保存消息的副本数,如果一个副本失效了,另一个还可以继续提供服务,是在自动创建topic时的默认副本数,可以设置为3

image-20210908112122047

4、启动Kafka

  1. 启动kafka


cd /data/kafka_2.13-2.8.0/


bin/kafka-server-start.sh -daemon config/server.properties

-daemon 参数会将任务转入后台运行,输出日志信息将写入日志文件,日志文件在执行命令的目录下的logs目录中kafkaServer.out,结尾输同started说明启动成功。

也可以用jps命令,看有没有kafka的进程

image-20210908112514882

  1. 停止kafka


bin/kafka-server-stop.sh config/server.properties

5、测试

  1. 创建topic


bin/kafka-topics.sh --create --zookeeper IP:2181 --replication-factor 1 --partitions 1 --topic test
  1. 查看主题


bin/kafka-topics.sh --list --zookeeper localhost:2181

image-20210908112816986

  1. 发送消息


bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  1. 接收消息


bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  1. 查看特定主题的详细信息


bin/kafka-topics.sh --zookeeper localhost:2181 --describe  --topic test
  1. 删除主题


bin/kafka-topics.sh --zookeeper localhost:2181 --delete  --topic test

6、配置系统服务


vim /etc/systemd/syste/zookeeper.service

[unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target


[Service]
Type=simple
ExecStart=/data/kafka_2.13-2.8.0/bin/zookeeper-server-start.sh /data/kafka_2.13-2.8.0/config/zookeeper.properties
ExecStop=/data/kafka_2.13-2.8.0/bin/zookeeper-server-stop.sh
Restart=on-abnormal
User=root
Group=root


[Install]
WantedBy=multi-user.target

systemctl start zookeeper --启动服务

systemctl stop zookeeper --停止服务

systemctl status zookeeper --查看服务状态


vim /etc/systemd/syste/kafka.service

[unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service


[Service]
Type=simple
ExecStart=/data/kafka_2.13-2.8.0/bin/kafka-server-start.sh /data/kafka_2.13-2.8.0/config/server.properties
ExecStop=/data/kafka_2.13-2.8.0/bin/kafka-server-stop.sh
Restart=on-abnormal


[Install]
WantedBy=multi-user.target

systemctl start zookeeper --启动服务

systemctl stop zookeeper --停止服务

systemctl status zookeeper --查看服务状态

补充:


[Unit]
Description : 服务的简单描述
Documentation : 服务文档
Before、After:定义启动顺序。Before=xxx.service,代表本服务在xxx.service启动之前启动。After=xxx.service,代表本服务在xxx.service之后启动。
Requires:这个单元启动了,它需要的单元也会被启动;它需要的单元被停止了,这个单元也停止了。
Wants:推荐使用。这个单元启动了,它需要的单元也会被启动;它需要的单元被停止了,对本单元没有影响。


[Service]


Type=simple(默认值):systemd认为该服务将立即启动。服务进程不会fork。如果该服务要启动其他服务,不要使用此类型启动,除非该服务是socket激活型。
Type=forking:systemd认为当该服务进程fork,且父进程退出后服务启动成功。对于常规的守护进程(daemon),除非你确定此启动方式无法满足需求,使用此类型启动即可。使用此启动类型应同时指定 PIDFile=,以便systemd能够跟踪服务的主进程。
Type=oneshot:这一选项适用于只执行一项任务、随后立即退出的服务。可能需要同时设置 RemainAfterExit=yes 使得 systemd 在服务进程退出之后仍然认为服务处于激活状态。
Type=notify:与 Type=simple 相同,但约定服务会在就绪后向 systemd 发送一个信号。这一通知的实现由 libsystemd-daemon.so 提供。
Type=dbus:若以此方式启动,当指定的 BusName 出现在DBus系统总线上时,systemd认为服务就绪。
Type=idle: systemd会等待所有任务(Jobs)处理完成后,才开始执行idle类型的单元。除此之外,其他行为和Type=simple 类似。


PIDFile:pid文件路径


ExecStart:指定启动单元的命令或者脚本,ExecStartPre和ExecStartPost节指定在ExecStart之前或者之后用户自定义执行的脚本。Type=oneshot允许指定多个希望顺序执行的用户自定义命令。


ExecReload:指定单元停止时执行的命令或者脚本。


ExecStop:指定单元停止时执行的命令或者脚本。


PrivateTmp:True表示给服务分配独立的临时空间


Restart:这个选项如果被允许,服务重启的时候进程会退出,会通过systemctl命令执行清除并重启的操作。


RemainAfterExit:如果设置这个选择为真,服务会被认为是在激活状态,即使所以的进程已经退出,默认的值为假,这个选项只有在Type=oneshot时需要被配置。


[Install]


Alias:为单元提供一个空间分离的附加名字。


RequiredBy:单元被允许运行需要的一系列依赖单元,RequiredBy列表从Require获得依赖信息。


WantBy:单元被允许运行需要的弱依赖性单元,Wantby从Want列表获得依赖信息。


Also:指出和单元一起安装或者被协助的单元。


DefaultInstance:实例单元的限制,这个选项指定如果单元被允许运行默认的实例。

这世上所有美好的东西,都需要踮起脚尖


博客评论
还没有人评论,赶紧抢个沙发~
发表评论
说明:请文明发言,共建和谐网络,您的个人信息不会被公开显示。