授权公布号:CN116935329B
一种类级别对比学习的弱监督文本行人检索方法及系统
有效
申请
2023-09-19
申请公布
2023-10-24
授权
2023-12-01
预估到期
2043-09-19
| 申请号 | CN202311204550.0 |
| 申请日 | 2023-09-19 |
| 申请公布号 | CN116935329A |
| 申请公布日 | 2023-10-24 |
| 授权公布号 | CN116935329B |
| 授权公告日 | 2023-12-01 |
| 分类号 | G06V20/52;G06V20/40;G06V10/762;G06V10/774;G06V10/75 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 上海新时达电气股份有限公司 |
| 申请人地址 | 山东省青岛市即墨区滨海路72号 |
专利法律状态
2023-12-01
授权
状态信息
授权
2023-11-10
实质审查的生效
状态信息
实质审查的生效;IPC(主分类):G06V20/52;申请日:20230919
2023-10-24
公布
状态信息
公布
摘要
本申请属于图像处理领域,尤其涉及一种类级别对比学习的弱监督文本行人检索方法及系统,用于包括但不限于电梯、街道、商场等一切具有行人的场景,通过输入自然语言描述对行人图像或视频进行检索,该方法采用CLIP的预训练模型来提取图像和文本的特征,并使用了离异样本挖掘算法来挖掘其中有价值的聚类离异样本。之后根据聚类ID构建类级别的多模态记忆模块,该模块在训练过程中会动态更新。训练时,混合级别的跨模态匹配模块从类级别和实例级别两个角度拉近同类图像和文本之间的距离,推远不同类图像和文本之间的距离。本发明大幅度提高了弱监督条件下文本行人检索的准确率。


