授权公布号:CN109840267B
一种数据ETL系统及方法
有效
申请
2019-03-01
申请公布
2019-06-04
授权
2023-04-21
预估到期
2039-03-01
| 申请号 | CN201910158544.3 |
| 申请日 | 2019-03-01 |
| 申请公布号 | CN109840267A |
| 申请公布日 | 2019-06-04 |
| 授权公布号 | CN109840267B |
| 授权公告日 | 2023-04-21 |
| 分类号 | G06F16/25 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 成都品果科技有限公司 |
| 申请人地址 | 四川省成都市高新区天府大道中段1268号1栋13层 |
专利法律状态
2023-04-21
授权
状态信息
授权
2019-06-04
公布
状态信息
公布
摘要
本发明公开一种数据ETL系统,包括:Spark调度模块,数据ETL模块,Zeppelin Notebook模块,Airflow调度模块;所述Spark调度模块用于读取落地数据,将所述落地数据结构化,并将结构化的落地数据灌入所述数据ETL模块;所述数据ETL模块用于对接收的所述结构化的落地数据进行ETL操作,将ETL操作结果转换为Json数据,并将所述Json数据回写给所述Spark调度模块;所述Spark调度模块还用于将接收的所述Json数据结构化,获取结构化的Json数据;所述ZeppelinNotebook模块用于将所述结构化的Json数据进行加总处理,获取处理后数据,将所述处理后数据导入AWS Redshift中;所述Airflow调度模块用于对所述Spark调度模块、所述数据ETL模块、所述ZeppelinNotebook模块进行流程调度。本发明提供的技术方案,能够自动完成数据ETL过程,提高工作效率。


