品牌网
公司信息商标信息专利信息
授权公布号:CN114116266B
一种基于流计算自动化拆分消息的方法及系统
有效
申请
2022-01-27
申请公布
2022-03-01
授权
2022-05-17
预估到期
2042-01-27
申请号 CN202210097067.6
申请日 2022-01-27
申请公布号 CN114116266A
申请公布日 2022-03-01
授权公布号 CN114116266B
授权公告日 2022-05-17
分类号 G06F9/54
分类 计算;推算;计数;
申请人名称 北京华品博睿网络技术有限公司
申请人地址 北京市朝阳区太阳宫中路16号院1号楼18层1801内09

专利法律状态

2022-05-17 授权
状态信息
授权
2022-03-01 公布
状态信息
公布

摘要

本发明实施例公开了一种基于流计算自动化拆分消息的方法,包括:在Apache Flink拆分引擎中,根据mvel表达式判断每条数据符合哪一个分流规则,可以拆分到哪一个topic队列中去,就将一个QPS很高的源topic,分流到多个不同的topic队列中去,从而完成自动化拆分消息的功能。本发明实施例还公开了一种基于流计算自动化拆分消息的系统。本发明解决了消费无效数据,集群负载很高的问题,使消费者直接读取拆分后的topic,而不是读取本消息队列,降低了集群的负载;下游程序无需要读取大量无效数据,可以降低下游处理程序使用的资源;并且用户可以根据需求配置拆分规则,灵活性强,扩展性好。