品牌网
公司信息商标信息专利信息
授权公布号:CN111241203B
Hive数据仓库同步方法、系统、设备及存储介质
有效
申请
2020-02-10
申请公布
2020-06-05
授权
2022-10-04
预估到期
2040-02-10
申请号 CN202010084651.9
申请日 2020-02-10
申请公布号 CN111241203A
申请公布日 2020-06-05
授权公布号 CN111241203B
授权公告日 2022-10-04
分类号 G06F16/27;G06F16/22;G06F16/178
分类 计算;推算;计数;
申请人名称 江苏满运软件科技有限公司
申请人地址 江苏省南京市雨花台区软件大道170-1号4幢3-5层

专利法律状态

2022-10-04 授权
状态信息
授权
2020-06-05 公布
状态信息
公布

摘要

本发明提供了一种Hive数据仓库同步方法、系统、设备及存储介质,所述方法包括步骤:获取源Hive数据仓库的存储路径信息,判断源文件系统中是否存在与存储路径信息对应的文件存储目录;若存在则生成元数据扫描任务;接收元数据扫描任务,基于元数据扫描任务判断目标Hive数据仓库中是否存在与源Hive数据仓库中元数据记录的表ID匹配的第二元数据;若存在则判断源Hive数据仓库的元数据和所述第二元数据是否相同;若不同则生成同步任务数据;基于数据文件同步任务数据执行数据文件同步任务;基于元数据同步任务数据执行元数据同步任务;本申请保证了数据同步之后元数据和数据文件的完整性;实现了Hive数据仓库稳定可靠地进行同步。