授权公布号:CN111241203B
Hive数据仓库同步方法、系统、设备及存储介质
有效
申请
2020-02-10
申请公布
2020-06-05
授权
2022-10-04
预估到期
2040-02-10
| 申请号 | CN202010084651.9 |
| 申请日 | 2020-02-10 |
| 申请公布号 | CN111241203A |
| 申请公布日 | 2020-06-05 |
| 授权公布号 | CN111241203B |
| 授权公告日 | 2022-10-04 |
| 分类号 | G06F16/27;G06F16/22;G06F16/178 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 江苏满运软件科技有限公司 |
| 申请人地址 | 江苏省南京市雨花台区软件大道170-1号4幢3-5层 |
专利法律状态
2022-10-04
授权
状态信息
授权
2020-06-05
公布
状态信息
公布
摘要
本发明提供了一种Hive数据仓库同步方法、系统、设备及存储介质,所述方法包括步骤:获取源Hive数据仓库的存储路径信息,判断源文件系统中是否存在与存储路径信息对应的文件存储目录;若存在则生成元数据扫描任务;接收元数据扫描任务,基于元数据扫描任务判断目标Hive数据仓库中是否存在与源Hive数据仓库中元数据记录的表ID匹配的第二元数据;若存在则判断源Hive数据仓库的元数据和所述第二元数据是否相同;若不同则生成同步任务数据;基于数据文件同步任务数据执行数据文件同步任务;基于元数据同步任务数据执行元数据同步任务;本申请保证了数据同步之后元数据和数据文件的完整性;实现了Hive数据仓库稳定可靠地进行同步。


