消息队列

nsq

nsq 支持分布式事务(四)

也许我就是个跑偏的人,这个系列越写越偏 基准测试 本来是跟原版里面./bench.sh做一些基准测试,在我这台垃圾电脑上面 写性能 最后发现如果没有SyncTimout(就是超时落盘)这个,dtnsq写竟然40w/s,而nsq才18w/s~20w/s 没办法加上了默认了SyncTimout(2s),但是dtnsq也是30w/s 大家在落盘之前都是内存操作,如果有性能差异,我猜测是 channel导致的 读性能 读性能没法比较,因为当前dtnsq根本没有做push,只是定时拉取 修改 我需要将一些代码细节优化(不是为了写性能),稍微向生产方向靠近再来进一步测试 优化定时器 之前的消费者的pull定时器是从nsqd里面触发的,很容易将整个nsqd``lock住 这里面改成每一个读backend自行维护一个定时器 控制反转 之前写代码的时候,有考虑一些控制反转,但是还需要细致下去,主要是为了做单元测试 不然现在改几行根本不敢确定有没有影响之前的功能 (未完待续)

By chainhelen

消息队列

go-nsq bug

起因 公司同事发现,其topic数据均摊在k8s里面 5个 nsqd 但是其中两个nsqd对应的消费channel已经出现积压,甚至落盘过万条数据 触发条件 注意每个 consumer 与 每个 NSQD 都有连接(图中没有画出) 每个consumer的maxinflight设置都是1 使用最新的官方sdk版本go-nsq v1.0.7 参数解释 这里面有两个参数需要解释一下,但是是从consumer的角度解释的,同样的参数在nsqd中可能含义不一样 RDY是代表当前消费者还可以接受多少条消息,进行处理(在上面场景,大部分情况都是0、1) maxinflight代表是当前还未完全处理完的消息最大条数(默认是1条) 负载均衡 例如从consumer A角度来看,有这样的场景,len(A.conns) > maxinflight 也就是说,consumer A在同一时间内,不能够RDY多个nsqd,所以只能暂时选取其中一个,然后过一段时间再来处理其他的nsqd上面的消息,实际在consumer里面确实有一个定时器去做这件事 fun

By chainhelen

mq

rocketmq 初试

环境 个人电脑 win10、jdk1.8.0_121、idea2.6.2、rocketmq4.0.0-incubating、mvn3.3.9 下载源码 一开始下载rocketmq的源码3.5.8,但是导入idea编译报错 Error:(34, 8) java: com.alibaba.rocketmq.broker.plugin.MockMessageStore不是抽象的, 并且未覆盖com.alibaba.rocketmq.store.MessageStore中的抽象方法lockTimeMills() 猜测是jdk版本问题,我没有解决 选择了新的版本4.0.0-incubating 导入idea 选择 File -> New -> Project

By chainhelen