授权公布号:CN114153823B
一种分布式计算作业日志数据处理方法和系统
有效
申请
2022-02-09
申请公布
2022-03-08
授权
2022-05-17
预估到期
2042-02-09
| 申请号 | CN202210120296.5 |
| 申请日 | 2022-02-09 |
| 申请公布号 | CN114153823A |
| 申请公布日 | 2022-03-08 |
| 授权公布号 | CN114153823B |
| 授权公告日 | 2022-05-17 |
| 分类号 | G06F16/21;G06F16/22;G06F16/2453;G06F9/54 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 北京华品博睿网络技术有限公司 |
| 申请人地址 | 北京市朝阳区太阳宫中路16号院1号楼18层1801内09 |
专利法律状态
2022-05-17
授权
状态信息
授权
2022-03-08
公布
状态信息
公布
摘要
本发明公开了一种分布式计算作业日志数据处理方法和系统。该方法包括:日志标记,针对分布式计算引擎的各个计算节点,将不同计算作业应用实时产生的日志根据唯一标识进行标记;汇聚入库,将标记后的计算作业应用日志和系统日志采用消息队列采集,并根据日志标识进行日志拆分,按照一个计算作业应用对应一份日志的粒度进行实时分流,并将分流后的日志利用搜索引擎进行索引数据入库,构建计算作业应用日志的日志搜索数据库。本发明的有益效果为:通过针对实时计算作业产生的日志进行标识,区分不同的计算作业,利用高可用的日志采集方式,进行实时计算引擎的日志汇聚,并利用搜索引擎进行索引数据入库,用于日常日志搜索,提高了日志查询效率。


