品牌网
公司信息商标信息专利信息
授权公布号:CN109992573B
一种实现HDFS文件占用率自动监控的方法及系统
有效
申请
2019-04-01
申请公布
2019-07-09
授权
2022-07-19
预估到期
2039-04-01
申请号 CN201910255763.3
申请日 2019-04-01
申请公布号 CN109992573A
申请公布日 2019-07-09
授权公布号 CN109992573B
授权公告日 2022-07-19
分类号 G06F16/18;G06F16/174;G06F16/22;G06F16/25
分类 计算;推算;计数;
申请人名称 焦点科技股份有限公司
申请人地址 江苏省南京市高新开发区星火路软件大厦A座12F

专利法律状态

2022-07-19 授权
状态信息
授权
2019-07-09 公布
状态信息
公布

摘要

本发明公开了一种实现HDFS文件占用率自动监控的方法,其特征在于,首先配置HDFS路径、namenodes,调用java API接口获取HDFS文件目录和文件大小、原始日志及数据仓库目录下的层级路径列表及文件大小;编写ETL,计算各类文件大小;采用报表软件展示每日HDFS总目录;配置调度,获取HDFS存储情况,更新相关元数据表,标示相应文件。本发明针对HDFS文件占用率监控问题进行了算法和系统的设计,将底层目录地址及文件大小存储到数据库,然后通过存储过程计算每层目录的路径及大小,最后通过报表展现出来,该方法和系统能够高效智能的完成监控任务,大大降低了HDFS的维护时间。