品牌网
公司信息商标信息专利信息
授权公布号:CN113312416B
一种跨数据中心的ETL工具
有效
申请
2021-05-20
申请公布
2021-08-27
授权
2022-09-09
预估到期
2041-05-20
申请号 CN202110552855.5
申请日 2021-05-20
申请公布号 CN113312416A
申请公布日 2021-08-27
授权公布号 CN113312416B
授权公告日 2022-09-09
分类号 G06F16/25;G06F16/215
分类 计算;推算;计数;
申请人名称 成都美尔贝科技股份有限公司
申请人地址 四川省成都市高新区蜀都中心2期1号楼6层

专利法律状态

2022-09-09 授权
状态信息
授权
2021-08-27 公布
状态信息
公布

摘要

本发明公开了一种跨数据中心的ETL工具,包括任务调度模块、数据清洗模块、上传模块和存储模块,其中:所述任务调度模块,用于创建需要清洗的任务,并将任务存储在第一数据中心的数据库中;所述数据清洗模块,获取第一数据中心的数据库中需要清洗的任务的计划,拆分任务中的结构化数据和非结构化数据;所述上传模块,用于获取任务中结构化数据推送到第一数据中心的redis队列中进行清洗和入库,用于获取任务中的非结构化数据推送到第二数据中心的redis队列中进行清洗;所述存储模块,用于获取第二数据中心清洗的数据存储到第三数据中心的数据库;提高清洗的效率和稳定性,根据不同的数据中心的产品价格优势,降低使用成本。