授权公布号:CN114116266B
一种基于流计算自动化拆分消息的方法及系统
有效
申请
2022-01-27
申请公布
2022-03-01
授权
2022-05-17
预估到期
2042-01-27
| 申请号 | CN202210097067.6 |
| 申请日 | 2022-01-27 |
| 申请公布号 | CN114116266A |
| 申请公布日 | 2022-03-01 |
| 授权公布号 | CN114116266B |
| 授权公告日 | 2022-05-17 |
| 分类号 | G06F9/54 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 北京华品博睿网络技术有限公司 |
| 申请人地址 | 北京市朝阳区太阳宫中路16号院1号楼18层1801内09 |
专利法律状态
2022-05-17
授权
状态信息
授权
2022-03-01
公布
状态信息
公布
摘要
本发明实施例公开了一种基于流计算自动化拆分消息的方法,包括:在Apache Flink拆分引擎中,根据mvel表达式判断每条数据符合哪一个分流规则,可以拆分到哪一个topic队列中去,就将一个QPS很高的源topic,分流到多个不同的topic队列中去,从而完成自动化拆分消息的功能。本发明实施例还公开了一种基于流计算自动化拆分消息的系统。本发明解决了消费无效数据,集群负载很高的问题,使消费者直接读取拆分后的topic,而不是读取本消息队列,降低了集群的负载;下游程序无需要读取大量无效数据,可以降低下游处理程序使用的资源;并且用户可以根据需求配置拆分规则,灵活性强,扩展性好。


