分布式流处理平台Kafka快速认知

DBC 1.6K 0
  • Kafka
    • Kafka是最初由Linkedin公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目,也是一个开源【分布式流处理平台】,由Scala和Java编写,(也当做MQ系统,但不是纯粹的消息系统)
      • open-source distributed event streaming platform
    • 核心:一种高吞吐量的分布式流处理平台,它可以处理消费者在网站中的所有动作流数据。
      • 比如 网页浏览,搜索和其他用户的行为等,应用于大数据实时处理领域

      分布式流处理平台Kafka快速认知插图

  • 官网:http://kafka.apache.org/
  • 快速开始:http://kafka.apache.org/quickstart
  • 快速认识概念
    • Broker
      • Kafka的服务端程序,可以认为一个mq节点就是一个broker
      • broker存储topic的数据
    • Producer生产者
      • 创建消息Message,然后发布到MQ中
      • 该角色将消息发布到Kafka的topic中
    • Consumer消费者:
      • 消费队列里面的消息

分布式流处理平台Kafka快速认知插图2

发表评论 取消回复
表情 图片 链接 代码

分享