品牌网
公司信息商标信息专利信息
授权公布号:CN104182411B
基于Map-Reduce的高维数据相似性连接方法和装置
有效
申请
2013-05-24
申请公布
2014-12-03
授权
2018-08-17
预估到期
2033-05-24
申请号 CN201310198463.9
申请日 2013-05-24
申请公布号 CN104182411A
申请公布日 2014-12-03
授权公布号 CN104182411B
授权公告日 2018-08-17
分类号 G06F17/30
分类 计算;推算;计数;
申请人名称 日电(中国)有限公司
申请人地址 北京市海淀区学院路35号世宁大厦20层

专利法律状态

2018-08-17 授权
状态信息
授权
2015-11-25 实质审查的生效
状态信息
实质审查的生效IPC(主分类):G06F 17/30申请日:20130524
2014-12-03 公布
状态信息
公开

摘要

本发明提出了一种基于Map‑Reduce的高维数据相似性连接方法和装置。根据本发明,采用分段累积近似方法,对多个d维数据向量中的每一个数据向量进行降维处理,转换为d′维数据向量;采用符号化累积近似方法,将每一个d′维数据向量转换为d′维符号向量;两两计算符号向量‑数据向量列表中的每一对符号向量之间的符号间距离,保留符号间距离不大于预定阈值的符号对,按照每个d′维符号向量进行汇总,得到符号向量‑符号向量列表;以每个d′维符号向量作为键值,以符号向量‑数据向量列表和符号向量‑符号向量列表中的数据向量列表和符号向量列表作为数值,构建散列表;采用Map‑Reduce框架,对所构建的散列表进行处理,输出欧氏距离小于所述预定阈值的d维数据向量对。