WQS - 消息服务中间件


Apache 2.0
跨平台
Google Go

软件简介

WQS 是微博开源的消息服务中间件。

功能特性

  1. 多租户支持;

  2. 多 IDC 支持;

  3. 多协议支持 memcached、http 1/2、motan

  4. 轻客户端。(去 zk 依赖、无 partition 感知)

  5. 支持 pub/sub、long polling、pipeline;

  6. 支持 TTL;

  7. 支持 filter。

多 IDC 部署

WQS 目前支持多 IDC 部署,创建队列时选取响应的配置表明该队列是否需要多 IDC 功能支持,当 WQS 集群跨 IDC 部署时:

  • Producer 通过 WQS 实例写消息会时写到与自身实例部署在同一 IDC 内的 Kafka 集群上。

  • Consumer 通过 WQS 实例读消息时,该实例会根据 Queue 的配置来执行响应的行为。

    • 当 Queue 未配置多 IDC 同步时,该实例只会从该实例部署的 IDC 的 Kafka 集群中读取消息

    • 当 Queue 配置多 IDC 同步时,该实例会从用户所配置的 IDC 内的 Kafka 集群上读取消息,且不同 IDC 的 WQS 实例读取同一 Kafka 集群时,会采用相同的 consumer-group-ID。

相关配置

为兼容老版本配置,则本地 IDC 的 Kafka 配置为:

kafka.zookeeper.connect=localhost:2181
kafka.zookeeper.root=
#本地IDC的名称,只能是英文字母和数字
kafka.idc=idc

其他 IDC 的配置为:

kafka.remote.<your idc name>.zookeeper.connect=xxx.xxx.xxx.xxx:2181/

例如远端 IDC 的名称为abc则:

kafka.remote.abc.zookeeper.connect=xxx.xxx.xxx.xxx:2181/

创建队列

如果你要创建一个队列,要支持多 IDC 数据同步,队列名为abc,IDC分别为idc1idc2,则创建命令为

curl -X PUT "http://127.0.0.1:8080/queues/abc" -d '{"idcs":["idc1","idc2"]}'