品牌网
公司信息商标信息专利信息
授权公布号:CN110750251B
读写通信方法、读写器装置及存储介质
有效
申请
2019-09-25
申请公布
2020-02-04
授权
2023-03-24
预估到期
2039-09-25
申请号 CN201910912855.4
申请日 2019-09-25
申请公布号 CN110750251A
申请公布日 2020-02-04
授权公布号 CN110750251B
授权公告日 2023-03-24
分类号 G06F8/30;G06N20/00
分类 计算;推算;计数;
申请人名称 成都品果科技有限公司
申请人地址 四川省成都市中国(四川)自由贸易试验区成都高新区天府大道中段1268号1栋13层

专利法律状态

2023-03-24 授权
状态信息
授权
2020-02-04 公布
状态信息
公布

摘要

本发明公开一种读写通信方法、读写器装置及存储介质,基于TensorFlow工具包和Spark计算框架的用于操作TFRecord格式的文件,包括:在Spark环境中,基于Scala代码实现一个TFRecord生成器,该工具用于在Spark集群中将相关数据基于DataFrame生成Meta信息;TFRecord生成器将Meta信息和数据文件本身到文件系统中;基于TensorFlow工具包基于Python代码实现一个TFRecord读取器,用于读取文件系统中的Meta信息和TFRecord格式的文件;基于TFRecord读取器实现多种需求完成数据采样进行模型训练等工作;本发明为模型生成千万级甚至更大量级的数据样本,满足深度训练需要,同时,基于本技术方案,通过样本量以及输出的样本文件数,能够完成数据抽样和分组,另外,本技术方案无需进行手动处理,可以大大减少人工干预和编码,更加方便、高效。