授权公布号:CN109992573B
一种实现HDFS文件占用率自动监控的方法及系统
有效
申请
2019-04-01
申请公布
2019-07-09
授权
2022-07-19
预估到期
2039-04-01
| 申请号 | CN201910255763.3 |
| 申请日 | 2019-04-01 |
| 申请公布号 | CN109992573A |
| 申请公布日 | 2019-07-09 |
| 授权公布号 | CN109992573B |
| 授权公告日 | 2022-07-19 |
| 分类号 | G06F16/18;G06F16/174;G06F16/22;G06F16/25 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 焦点科技股份有限公司 |
| 申请人地址 | 江苏省南京市高新开发区星火路软件大厦A座12F |
专利法律状态
2022-07-19
授权
状态信息
授权
2019-07-09
公布
状态信息
公布
摘要
本发明公开了一种实现HDFS文件占用率自动监控的方法,其特征在于,首先配置HDFS路径、namenodes,调用java API接口获取HDFS文件目录和文件大小、原始日志及数据仓库目录下的层级路径列表及文件大小;编写ETL,计算各类文件大小;采用报表软件展示每日HDFS总目录;配置调度,获取HDFS存储情况,更新相关元数据表,标示相应文件。本发明针对HDFS文件占用率监控问题进行了算法和系统的设计,将底层目录地址及文件大小存储到数据库,然后通过存储过程计算每层目录的路径及大小,最后通过报表展现出来,该方法和系统能够高效智能的完成监控任务,大大降低了HDFS的维护时间。


