品牌网
公司信息商标信息专利信息
授权公布号:CN114153823B
一种分布式计算作业日志数据处理方法和系统
有效
申请
2022-02-09
申请公布
2022-03-08
授权
2022-05-17
预估到期
2042-02-09
申请号 CN202210120296.5
申请日 2022-02-09
申请公布号 CN114153823A
申请公布日 2022-03-08
授权公布号 CN114153823B
授权公告日 2022-05-17
分类号 G06F16/21;G06F16/22;G06F16/2453;G06F9/54
分类 计算;推算;计数;
申请人名称 北京华品博睿网络技术有限公司
申请人地址 北京市朝阳区太阳宫中路16号院1号楼18层1801内09

专利法律状态

2022-05-17 授权
状态信息
授权
2022-03-08 公布
状态信息
公布

摘要

本发明公开了一种分布式计算作业日志数据处理方法和系统。该方法包括:日志标记,针对分布式计算引擎的各个计算节点,将不同计算作业应用实时产生的日志根据唯一标识进行标记;汇聚入库,将标记后的计算作业应用日志和系统日志采用消息队列采集,并根据日志标识进行日志拆分,按照一个计算作业应用对应一份日志的粒度进行实时分流,并将分流后的日志利用搜索引擎进行索引数据入库,构建计算作业应用日志的日志搜索数据库。本发明的有益效果为:通过针对实时计算作业产生的日志进行标识,区分不同的计算作业,利用高可用的日志采集方式,进行实时计算引擎的日志汇聚,并利用搜索引擎进行索引数据入库,用于日常日志搜索,提高了日志查询效率。