本发明实施例公开了一种语言模型构建方法及设备，方法包括：从数据库中调取语料，语料包括多条具有标签的业务语料和多条无标签语料；利用业务语料分别对k个第一模型进行训练，获取k个第一语言模型；使用k个第一语言模型分别对每条语料进行预测，获得每条语料的k个第一预测概率矩阵；对每条语料的k个第一预测概率矩阵进行均值计算，获取每条语料的第二预测概率矩阵；利用语料对第二模型进行多轮训练，并根据第二预测概率矩阵确定每轮训练后的第二模型的损失函数值，直至满足预设条件时停止训练，获取第二语言模型；其中，每轮训练后的第二模型将自动根据本轮确定的损失函数值进行调整，第二模型的层数少于第一模型的层数。