授权公布号:CN114339355B
事件检测模型训练方法、系统、电子设备和存储介质
有效
申请
2021-12-31
申请公布
2022-04-12
授权
2023-02-21
预估到期
2041-12-31
| 申请号 | CN202111681998.2 |
| 申请日 | 2021-12-31 |
| 申请公布号 | CN114339355A |
| 申请公布日 | 2022-04-12 |
| 授权公布号 | CN114339355B |
| 授权公告日 | 2023-02-21 |
| 分类号 | H04N21/43;H04N21/439;H04N21/44;G06V20/40;G06V10/80 |
| 分类 | 电通信技术; |
| 申请人名称 | 思必驰科技股份有限公司 |
| 申请人地址 | 江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋 |
专利法律状态
2023-02-21
授权
状态信息
授权
2022-04-12
公布
状态信息
公布
摘要
本发明公开事件检测模型训练方法、事件检测系统、电子设备和存储介质,其中,一种事件检测模型训练方法,其中,对音频数据集额外进行视频标注,所述方法包括:使用音频处理模型对所述音频数据集中的音频进行特征提取得到音频特征;使用视频处理模型对所述音频数据集中的视频进行特征提取得到视频特征;采用以attention为基础的模型对所述音频特征和所述视频特征进行整合,分别独立输出音频事件预测和视频事件预测。本申请实施例针对已有的音频数据集进行改进,额外标注了视频弱标签,从而无需从头选用新的数据。同时,采用以attention为基础的模型结构对两模态进行有效融合,应对音视频不匹配的问题。


