如何在 Ubuntu 22.04 LTS 上安装 Apache Kafka

Apache Kafka以其有效处理实时数据流的能力而闻名。它是日志聚合、数据管道和事件驱动应用程序等方案的完美选择。

如何在 Ubuntu 22.04 LTS 上安装 Apache Kafka

在 Ubuntu 22.04 LTS Jammy Jellyfish 上安装 Apache Kafka

第 1 步。首先,通过在终端中运行以下命令,确保所有系统软件包都是最新的。apt

sudo apt update
sudo apt upgrade

第 2 步。Java 开发工具包 (JDK) 安装。

Kafka 依赖于 Java,因此请确保您已安装 JDK。让我们验证它的存在并设置环境变量。JAVA_HOME

通过运行以下命令确认是否安装了 Java:

java -version

如果没有,请使用以下命令安装它:

sudo apt install openjdk-11-jdk

要设置环境变量,请打开文件:JAVA_HOME.bashrc

nano ~/.bashrc

在文件末尾添加以下行(替换为您的 Java 安装路径):<your_java_home_path>

export JAVA_HOME=<your_java_home_path>

保存文件并运行:

source ~/.bashrc

第 3 步。在 Ubuntu 22.04 上安装 Apache Kafka。

导航到官方 Apache Kafka 下载页面,选择所需的版本,然后复制其 URL。在您的终端中,用于下载 Kafka:wget

wget https://downloads.apache.org/kafka/3.5.1/kafka-3.5.1-src.tgz

提取下载的存档:

tar -xzf kafka-3.5.1-src.tgz

第 4 步。配置 Apache Kafka。

首先,创建一个 Kafka 配置目录:

sudo mkdir /etc/kafka

编辑 Kafka 文件:server.properties

sudo nano /etc/kafka/server.properties

下面是要配置的一些基本属性:

  • 经纪商编号:确保每个代理都有一个唯一的 ID。
  • 端口配置:默认端口为纯文本的默认端口 9092 和 SSL 的默认端口 9093。
  • 日志目录:设置 Kafka 日志的路径。
  • 动物园管理员连接:指定 Zookeeper 服务器地址。

第5步。启动 Kafka 服务器。

要在后台启动 Kafka,请运行:

./kafka_3.5.1/bin/kafka-server-start.sh -daemon /etc/kafka/server.properties

您可以验证 Kafka 是否正在运行:

./kafka_3.5.1/bin/kafka-server-stop.sh

第 6 步。创建卡夫卡主题。

主题对于 Kafka 中的数据组织至关重要。要创建主题,请使用脚本:kafka-topics.sh

./kafka_3.5.1/bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092

步骤 7.测试Apache Kafka。

现在您的 Kafka 集群已启动并运行,让我们通过设置生产者和使用者来测试它。

创建 Kafka 生产者:

./kafka_3.5.1/bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

创建 Kafka 消费者:

./kafka_3.5.1/bin/kafka-console-consumer.sh --topic test-topic --bootstrap-server localhost:9092 --from-beginning

第8步。管理Apache Kafka。

启动和停止卡夫卡:

./kafka_3.5.1/bin/kafka-server-stop.sh

要再次启动卡夫卡:

./kafka_3.5.1/bin/kafka-server-start.sh /etc/kafka/server.properties

第9步。排查常见问题。

卡夫卡服务器错误

  • 检查 Kafka 日志目录中的日志。
  • 确保正确配置 Kafka 属性。

卡夫卡生产者和消费者问题

  • 验证创建者和使用者配置是否匹配。
  • 检查网络或防火墙问题。

资源约束和性能调优

  • 使用 和 等工具监视系统资源。tophtop
  • 调整 Kafka 配置以获得最佳性能。

感谢您使用本教程在 Ubuntu 系统上安装 Apache Kafka。有关其他帮助或有用信息,我们建议您查看 Apache Kafka 官方网站

正文完
 0