本文对Kafka做个简单介绍（详细的介绍在后续文章中体现），着重介绍下Linux下Kafka环境的搭建（单机），后续会补充集群环境下的配置。

        Kafka简介

              Apache Kafka是分布式发布-订阅消息系统。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。
                Apache Kafka与传统消息系统相比，有以下不同：
                   它被设计为一个分布式系统，易于向外扩展；
                   它同时为发布和订阅提供高吞吐量；
                   它支持多订阅者，当失败时能自动平衡消费者；
                   它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。
                                                    
                                                                                       图片来自官网

        安装JDK

               Kafka需要依赖JAVA环境运行，JDK的安装在之前的文章有做详细描述，仅供参考。

       下载Kafka版本

               本文下载的是kafka_2.10-0.10.1.1.tgz版本，可以使用wget下载，也可以自行下载。 下载地址：http://kafka.apache.org/downloads

        安装和配置

              1、将包下载到相关的目录，然后解压Zookeeper到指定目录；
                     #cd /opt;
                     #tar -zxvf kafka_2.10-0.10.1.1.tgz;
                  2、配置日志：进入到/opt/ kafka_2.10-0.10.1.1目录创建日志目录；
                     #cd /opt/kafka_2.10-0.10.1.1；
                     #mkdir logs；
                  3、修改kafka配置文件；
                       进入到/opt/kafka_2.10-0.10.1.1/config目录，修改server.properties。
                       #cd /opt/kafka_2.10-0.10.1.1/config；
                       #vi server.properties #编辑修改相应的参数
                          broker.id=0
                          port=9092 #端口号
                          host.name=127.0.0.1 #服务器IP地址，修改为自己的服务器IP
                          log.dirs=/opt/kafka_2.10-0.10.1.1/logs #日志存放路径，上面创建的目录
                          zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181
                       #:wq! #保存退出
                  4、启动Zookeeper：
                       Kafka支持内置的Zookeeper和引用外部的Zookeeper，本文使用外部的Zookeeper。
                       启动Zookeeper可以参考前面文章： Linux下Zookeeper的（单机）安装与简单测试。
                  5、Kafka操作。
                       （1）、启动kafka命令：
                                #cd /opt/kafka_2.10-0.10.1.1/bin;
                                # ./kafka-server-start.sh /opt/kafka_2.10-0.10.1.1/config/server.properties &;
                       （2）、停止kafka命令：
                                # ./kafka-server-stop.sh
                       （3）、创建Topic：(创建一个名为test的topic，只有一个副本，一个分区。)
                                #./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
                       （4）、列出所有Topic：
                                #./kafka-topics.sh -list -zookeeper 127.0.0.1:2181                  
                       （5）、启动Producer并发送消息：
                                #./kafka-console-producer.sh --broker-list localhost:9092 --topic test
                               （输入相应的消息，eg:hello kafka;按Ctrl+C结束）
                        （6）、启动Consumer并接收消息：
                                #./kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning

Logo
CSDN学习社区

CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！

更多推荐

嵌入式作业（七）：基于Ardunio的STM32串口通信

嵌入式作业（七）0作业要求1Ardunio 完成STM32的串口通信（1）安装Ardunio IDE（2）stm32串口通信2关于 stduino IDE0作业要求安装 Ardunio IDE 和相关软件支持库，在Ardunio 完成STM32板子的串口通信程序：（1）持续向串口输出“Hello world！”；（2）当接收到“stop!”时，停止输出。网上有一个国人版的MCU集成开发平台， st

avatar CSDN学习社区

JDBC详解

JDBC文章目录JDBC什么是JDBC?JDBC驱动程序:Java使用JDBC访问数据库的步骤:设置classpath:Oracle连接字符串的书写格式:简单的例子:常用数据库的驱动程序及JDBC URL:Oracle数据库:SQL Server数据库MySQL数据库Access数据库PreparedStatement接口:JNDI-数据源（Data Source）与连接池（Connection

avatar CSDN学习社区

“模式识别与机器学习”学习笔记no2.再谈感知机

接**上篇：上篇主要进行了PLA，Pocket算法的理论过程分析和在给定数据集上利用pocket算法对数据集进行分类学习，得到错分数量最少的分类面。上篇中pocket算法的过程已经进行了编程和测试，框架已经建立了起来，这一篇主要上篇中没有提到或涉及不深的几个问题。1.数据集的构造。上篇是直接使用了题目给的向量，这次来根据正态分布来产生数据集。np.random.normal函数可以根据均值和方差生

avatar CSDN学习社区