授权公布号:CN113312898B
语料处理方法、设备、存储介质及装置
有效
申请
2020-02-26
申请公布
2021-08-27
授权
2024-03-01
预估到期
2040-02-26
| 申请号 | CN202010123364.4 |
| 申请日 | 2020-02-26 |
| 申请公布号 | CN113312898A |
| 申请公布日 | 2021-08-27 |
| 授权公布号 | CN113312898B |
| 授权公告日 | 2024-03-01 |
| 分类号 | G06F40/216;G06F40/30;G06F40/253;G06F16/35;G06N3/0464;G06N3/0455 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 深信服科技股份有限公司 |
| 申请人地址 | 广东省深圳市南山区学苑大道1001号南山智园A1栋一层 |
专利法律状态
2024-03-01
授权
状态信息
授权
2021-09-14
实质审查的生效
状态信息
实质审查的生效;IPC(主分类):G06F40/216;申请日:20200226
2021-08-27
公布
状态信息
公布
摘要
本发明公开了一种语料处理方法、设备、存储介质及装置,该方法通过获取目标领域的目标语料,计算所述目标语料在所述目标领域的目标显著程度,根据所述目标显著程度对所述目标语料进行层次划分,获得各层次对应的语料集,基于层次化划分对语料进行筛选和重要性排序,快速构建完备且准确的训练语料集;根据所述目标显著程度对各层次设置对应的目标层次权重,根据所述语料集和对应的所述目标层次权重对待训练模型进行训练,获得目标模型,高质量的训练语料包含大量且准确的语义信息,基于层次划分的语料集对模型进行训练,提升训练预测和模型理解能力。


