授权公布号:CN110276070B
一种语料处理方法、装置及存储介质
有效
申请
2019-05-22
申请公布
2019-09-24
授权
2023-04-07
预估到期
2039-05-22
| 申请号 | CN201910430352.3 |
| 申请日 | 2019-05-22 |
| 申请公布号 | CN110276070A |
| 申请公布日 | 2019-09-24 |
| 授权公布号 | CN110276070B |
| 授权公告日 | 2023-04-07 |
| 分类号 | G06F40/216;G06F16/33 |
| 分类 | 计算;推算;计数; |
| 申请人名称 | 广州多益网络股份有限公司 |
| 申请人地址 | 广东省广州市黄埔区伴河路90号 |
专利法律状态
2023-04-07
授权
状态信息
授权
2019-09-24
公布
状态信息
公布
摘要
本发明公开了一种语料处理方法,包括步骤:获取原有语料中每一音素的音素频次和每一句子的句长频次;其中,每一音素的所述音素频次表示在所述原有语料中相同音素的数量,每一句子的所述句长频次表示在所述原有语料中的相同句子长度的句子数量。根据所述音素频次和所述句长频次计算每一所述句子的频次参数,以所述频次参数作为所述句子的得分;其中,所述频次参数与所述音素频次负相关,且与所述句长频次负相关。本发明还公开了一种语料处理装置和存储介质。本发明为语料的选取提供了可靠的标准,从而可提高在筛选时选取语料句子的可靠性,有效地提高了大量文本语料的筛选效率,适合大规模的语料信息筛选任务。


