Internet服务和其他希望在其网站上植入新闻feed或聚合日志文件的组织,可以从一个名为[卡夫卡它首先由专业社交网络服务LinkedIn开发。
Internet服务和其他希望在其网站上植入新闻feed或聚合日志文件的组织,可以从一个名为“发布-订阅”(pub /sub)的消息传递应用程序获得帮助卡夫卡它首先由专业社交网络服务LinkedIn开发。Kafka 0.8版本是这个中间件的第一个主要版本,在LinkedIn开源代码之后,它在今年早些时候成为了Apache软件基金会的顶级项目。的新版本是第一个能够处理多个数据目录的版本。它可以在同一个集群中复制数据,并包含新的内部指标。
而RabbitMQ和其他消息传递平台建AMQP (Advanced Message Queuing Protocol)协议被广泛使用多年来,LinkedIn在内部开发了Kafka,以便路由比那些应用程序通常处理的更多的消息。
像其他发布/订阅机制一样,Kafka可以从多个贡献者那里收集消息,并将这些消息分发给消息提要的订阅者。Kafka具有分布式架构,这意味着可以在服务器上安装多个代理来增加发布者和订阅者之间的吞吐量。观察家们注意到卡夫卡不提供尽可能多的路由功能尽管RabbitMQ提供了更高的吞吐量。
LinkedIn工程师们发现Kafka部署每秒可以发布超过400,000条消息,比RabbitMQ的性能高出两个数量级,比RabbitMQ的性能高出一个数量级ActiveMQ,也是由Apache维护的另一个基于amqp的包。
LinkedIn本身使用该软件提供用户新闻源,以及其他职责,如跟踪指标。互联网服务Shopify也使用Kafka甚至已经发布一个客户端来拦截Kafka消息。
“最终,我们想要的是一个快速、可扩展、可靠的发布-订阅消息系统,LinkedIn的Kafka项目完全符合这个要求。”写了Evan Huus是Shopify的开发者。
除了为新闻feed提供一个基础,Kafka还可以帮助日志聚合、流处理和网站活动跟踪,根据Apache.
约押杰克逊报道企业软件和通用技术突发新闻IDG新闻服务.请在Twitter上关注约押@Joab_Jackson.约押的电子邮件地址是Joab_Jackson@idg.com