授权公布号:CN104182411B
基于Map-Reduce的高维数据相似性连接方法和装置
有效
申请
2013-05-24
申请公布
2014-12-03
授权
2018-08-17
预估到期
2033-05-24
| 申请号 | CN201310198463.9 |
| 申请日 | 2013-05-24 |
| 申请公布号 | CN104182411A |
| 申请公布日 | 2014-12-03 |
| 授权公布号 | CN104182411B |
| 授权公告日 | 2018-08-17 |
| 分类号 | G06F17/30 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 日电(中国)有限公司 |
| 申请人地址 | 北京市海淀区学院路35号世宁大厦20层 |
专利法律状态
2018-08-17
授权
状态信息
授权
2015-11-25
实质审查的生效
状态信息
实质审查的生效IPC(主分类):G06F 17/30申请日:20130524
2014-12-03
公布
状态信息
公开
摘要
本发明提出了一种基于Map‑Reduce的高维数据相似性连接方法和装置。根据本发明,采用分段累积近似方法,对多个d维数据向量中的每一个数据向量进行降维处理,转换为d′维数据向量;采用符号化累积近似方法,将每一个d′维数据向量转换为d′维符号向量;两两计算符号向量‑数据向量列表中的每一对符号向量之间的符号间距离,保留符号间距离不大于预定阈值的符号对,按照每个d′维符号向量进行汇总,得到符号向量‑符号向量列表;以每个d′维符号向量作为键值,以符号向量‑数据向量列表和符号向量‑符号向量列表中的数据向量列表和符号向量列表作为数值,构建散列表;采用Map‑Reduce框架,对所构建的散列表进行处理,输出欧氏距离小于所述预定阈值的d维数据向量对。


