一种确保MapReduce的数据输入分片包含完整记录的方法与系统

授权公布号：CN105608212B

有效

申请

2015-12-30

申请公布

2016-05-25

授权

2020-02-07

预估到期

2035-12-30

申请号	CN201511011527.5
申请日	2015-12-30
申请公布号	CN105608212A
申请公布日	2016-05-25
授权公布号	CN105608212B
授权公告日	2020-02-07
分类号	G06F16/182;G06F16/172
分类	计算；推算；计数;
申请人名称	成都国腾实业集团有限公司
申请人地址	四川省成都市成都高新区西部园区西芯大道3号

专利法律状态

2020-02-07 授权

状态信息

授权

2020-01-14 专利申请权、专利权的转移

状态信息

专利申请权的转移IPC(主分类):G06F16/182登记生效日:20191226变更前申请人:成都创智云科技股份有限公司地址:610000 四川省成都市高新区(西区)西芯大道3号变更后申请人:成都国腾实业集团有限公司地址:610000 四川省成都市成都高新区西部园区西芯大道3号

2016-06-22 实质审查的生效

状态信息

实质审查的生效IPC(主分类):G06F 17/30申请日:20151230

2016-05-25 公布

状态信息

公开

摘要

本发明公开了一种确保MapReduce的数据输入分片包含完整记录的方法与系统，其方法包括以下步骤：S1.在HDFS系统中创建存储文件；S2.向HDFS系统的客户端进行数据输入，并对输入的每条数据进行描述；S3.HDFS系统的客户端依次接收数据中的每条数据记录，并进行数据包构建，将在进行第n个数据包构建时，每进行一条数据记录的接收，均判断当前接收的数据记录能否完整保存于当前数据包中；S4.HDFS系统的服务器端将接收到的数据包构建成数据块，并将数据块写入存储文件中。提供一种确保MapReduce的数据输入分片包含完整记录的方法与系统，避免了在进行数据处理的时候，需要跨数据片读取数据的情况，保证了数据处理本地化，从而大大提高了系统处理的效率。