返回 登录
24

Kafka技术资料汇编

Kafka 0.8.0刚刚发布,新版本主要改进包括:

更多技术细节请参考版本说明及其中的链接。

Apache Kafka是源自LinkedIn的一种分布式日志服务,主要用Scala语言开发(少量Java),其实质是高吞吐量而功能简单的消息队列。由于架构设计独特,Kafka与传统消息队列相比,内置分区、复制和容错功能,适合大规模系统。曾有数据表明,Kafka能够每秒发布超过40万条消息。

Kafka的概念架构图如下:

http://kafka.apache.org/images/producer_consumer.png

详细的架构设计说明可以参考资料汇集,开源中国上fbm同学做了资料汇集(很长,质量不错)。

目前Kafka已经被众多互联网公司如Twitter、Pinterest、Netflix、Tumblr、Foursquare、Square、StumbleUpon、Coursera等广泛应用。

主要使用场景包括:消息处理、活动流跟踪、运营数据监测、日志聚合、流处理(与Storm配合)等。(参见文档

类似的开源项目还有Facebook的Scribe,Yahoo的Chukwa,Cloudera的Flume,董西成做过比较

Kafka的开发团队目前还是主要以LinkedIn的工程师为主,包括漂亮的女工程师Neha Narkhede、清华1994届的饶军等,但也出现了LucidWorks的David Arthur和加拿大的Prashanth Menon等外部核心开发者。

不知道国内有哪些生产环境的应用?

技术资料

via Hacker NewsIDG的相关报道

评论